待验证50% 置信事实精确时间
MLP层通常由两个线性变换和一个激活函数（如GELU）组成，中间隐藏维度往往是输入维度的4倍
1
来源数
50%
置信度
长期有效
时效性
2026/8/26
首次发现
来源
涉及实体
相关事实
待验证将矩阵展平喂给MLP会因行数可变导致输入维度不固定，并破坏排列不变性66% 相似待验证研究表明(Dettmers et al., 2022)，Transformer模型中特定隐藏维度会在所有token和层中持续出现异常大激活值，模型超过6.7B参数时现象更显著59% 相似待验证正交变换保持向量的L2范数和向量间夹角不变，正交矩阵的条件数恒为158% 相似待验证该研究生的核心成果是建立了函数在分形集合上的集中程度与其傅里叶变换之间的定量约束，证明两者不可能同时被限制在过于稀疏的分形集合上57% 相似待验证GPTQ（2022）引入逐层Hessian矩阵近似，通过最小化权重量化前后的输出重建误差优化量化参数56% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/804468API
curl https://kongchang.com/api/v1/knowledge/claims/804468MCP
get_claim(id=804468)