#统计物理

注意力机制的统计力学：从Hopfield模型看Transformer推理相变

研究通过现代Hopfield模型为Transformer注意力机制构建统计力学框架，揭示自由能景观中玻璃态与鲁棒推理态之间的一阶相变，并扩展至随机查询与键的注意力分析。