位置编码
Transformer模型中用于赋予模型感知token序列位置能力的关键机制，主要方案包括固定正弦余弦编码、可学习绝对位置嵌入及RoPE等相对位置编码，不同方案在长度外推能力上存在显著差异
核心事实
时间轴 (近 90 天)
由于注意力本身对序列顺序不敏感，模型依赖位置编码（如正弦编码或旋转位置编码RoPE）注入顺序信息。
该工作弥合了经验观察与理论解释之间的鸿沟，为位置编码的选择提供了可计算的理论指导。
该论文提出了一种“位置可实现性理论”，用于解释长度泛化对位置编码的依赖，并推导出被广泛记录的经验模式。
手算位置编码的6×512表格能帮助理解正弦和余弦组合如何让模型区分不同位置，而不需要为每个位置学习独立向量。
对Transformer而言，位置编码、注意力掩码等机制在训练长度之外可能失效。
DDPM沿用Transformer中的正弦位置编码，将时间步t转换为高维向量，再经过两层全连接映射到与特征图通道数匹配的维度，最后通过逐元素相加或FiLM方式调制各层特征。
扩散模型中时刻t通过类似Transformer位置编码的正余弦编码转成向量，再与图像特征融合。
DinoGPT 这类微型模型通常采用可学习位置嵌入，参数量等于最大序列长度乘以隐藏维度。
位置编码应加到embedding上，而非拼接。
上下文窗口是时序基础模型（以及所有基于 Transformer 的模型）一次前向计算能够处理的最大 token 数量，由模型架构中的位置编码和注意力机制的复杂度共同决定；窗口大小是训练时固定的超参数，推理时无法扩展。
还有 9 条时间轴事件
全部知识事实 (20)
位置编码最早在Transformer架构中被广泛使用，其作用是将序列中元素的顺序信息注入模型，因为纯注意力机制本身对顺序不敏感。
75%已验证由于Transformer自注意力机制存在位置偏向性，早期输入内容对后续生成具有更强锚定作用，这是系统提示上下文锚定效应的底层原因
65%待验证由于注意力本身对序列顺序不敏感，模型依赖位置编码（如正弦编码或旋转位置编码RoPE）注入顺序信息。
50%待验证该工作弥合了经验观察与理论解释之间的鸿沟，为位置编码的选择提供了可计算的理论指导。
50%待验证该论文提出了一种“位置可实现性理论”，用于解释长度泛化对位置编码的依赖，并推导出被广泛记录的经验模式。
50%待验证手算位置编码的6×512表格能帮助理解正弦和余弦组合如何让模型区分不同位置，而不需要为每个位置学习独立向量。
50%待验证对Transformer而言，位置编码、注意力掩码等机制在训练长度之外可能失效。
50%待验证DDPM沿用Transformer中的正弦位置编码，将时间步t转换为高维向量，再经过两层全连接映射到与特征图通道数匹配的维度，最后通过逐元素相加或FiLM方式调制各层特征。
50%待验证扩散模型中时刻t通过类似Transformer位置编码的正余弦编码转成向量，再与图像特征融合。
50%待验证DinoGPT 这类微型模型通常采用可学习位置嵌入，参数量等于最大序列长度乘以隐藏维度。
50%待验证位置编码应加到embedding上，而非拼接。
50%待验证上下文窗口是时序基础模型（以及所有基于 Transformer 的模型）一次前向计算能够处理的最大 token 数量，由模型架构中的位置编码和注意力机制的复杂度共同决定；窗口大小是训练时固定的超参数，推理时无法扩展。
50%待验证‘中间遗忘’导致的性能下降呈U型曲线，并非线性衰减；其机制可能与Transformer的注意力分配和位置编码有关。
50%待验证lost-in-the-middle现象的成因通常被归结为位置编码的衰减效应、训练数据中首尾内容更常与答案关联，以及注意力softmax在长序列上的稀释。
50%待验证STCNet采用双域协同策略，在投影域引入物理驱动的位置编码，在潜空间引入时间编码，联合优化投影域和图像域。
50%待验证传统正弦/余弦位置编码针对均匀整数步长设计，难以表达不规则间隔的几何关系
50%待验证位置编码用于向模型注入词序信息，因为注意力机制本身不区分位置顺序
50%待验证位置编码（Positional Encoding）通过给每个词附加位置信息，解决注意力机制本身无序、不知道词先后顺序的问题
50%待验证Transformer使用正弦和余弦函数的位置编码，波长按几何级数排开，最短和最长差一万倍
50%待验证输入模型的向量等于词向量加位置向量，例如7个字会生成7个词向量和7个位置向量相加得到真实输入
50%