待验证60% 置信事实精确时间
原始Transformer论文使用正余弦函数编码作为位置编码，BERT等后续模型改用可学习的位置嵌入
2
来源数
60%
置信度
长期有效
时效性
2026/7/13
首次发现
来源
Transformer学习路径为何总是起步太晚？正确顺序比材料更重要
redditr/learnmachinelearning2026/7/11
相关事实
待验证Transformer使用位置编码（Positional Encoding）在并行计算的同时保留词的顺序信息79% 相似待验证位置编码经历了从固定正弦编码（原始论文）到可学习绝对位置编码（BERT）再到旋转位置编码RoPE（LLaMA、Qwen）的演进77% 相似待验证自注意力本身对顺序不敏感，打乱词语顺序注意力权重计算结果相同，因此需要引入位置编码；原始Transformer论文使用正余弦函数编码74% 相似已验证Transformer的编码器负责将输入序列映射为上下文表示，适用于分类理解类任务；解码器自回归生成输出序列，适用于文本生成任务74% 相似待验证Transformer使用正弦和余弦函数的位置编码，波长按几何级数排开，最短和最长差一万倍73% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/496134API
curl https://kongchang.com/api/v1/knowledge/claims/496134MCP
get_claim(id=496134)