待验证50% 置信事实精确时间

标准Transformer MLP层执行两次线性变换并夹一个非线性激活函数，形式为MLP(x) = σ(xW1)W2

1

来源数

50%

置信度

长期有效

时效性

2026/8/8

首次发现

来源

Transformer如何思考与存储事实：机制可解释性详解

相关事实

待验证Transformer中的线性投影层（用于生成Q、K、V矩阵）本质上是多个线性回归的并行计算70% 相似待验证多个线性变换的复合仍然是线性变换，因此没有非线性激活函数的多层网络表达能力等价于单层线性模型62% 相似待验证Transformer架构中模型参数量与推理延迟之间呈近似线性关系61% 相似待验证Transformer模型是纯粹的序列到序列映射函数，其参数在推理阶段完全静态，无机制在推理中主动探测外部环境状态60% 相似已验证自注意力机制取代了此前主流的RNN/LSTM，当前所有主流大模型均为Transformer变体60% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/705783

API

curl https://kongchang.com/api/v1/knowledge/claims/705783

MCP

get_claim(id=705783)