待验证50% 置信事实精确时间
多头注意力中各头的输出拼接后再经一个线性变换融合。
1
来源数
50%
置信度
长期有效
时效性
2026/11/2
首次发现
来源
涉及实体
相关事实
待验证多头注意力将query/key/value拆成多个头并行计算，每个头学习不同的关注模式，结果拼接后线性变换。78% 相似待验证将自回归基座改造为扩散模型通常涉及将因果注意力掩码替换为双向注意力，并引入噪声调度器和时间步嵌入71% 相似待验证DiffusionGemma依赖双向注意力（去掉因果注意力的下三角掩码），使每个位置能同时关注序列中前后所有位置70% 相似待验证前馈网络位于注意力子层之后，通常包含两个线性变换和一个非线性激活函数（如ReLU或GeLU）69% 相似待验证自注意力机制通过将输入序列线性变换为Query、Key、Value三个矩阵，注意力权重由Q与K的转置相乘后经Softmax归一化得到，再与V相乘得到输出69% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1127272API
curl https://kongchang.com/api/v1/knowledge/claims/1127272MCP
get_claim(id=1127272)