涌现能力
涌现能力(Emergent Ability)是指复杂系统在规模或复杂度达到某一临界点后,突然呈现出在较小规模下不具备的新能力或行为特征。在人工智能领域,特指大型语言模型随参数量和训练数据规模增长,超越某一阈值后自发出现的推理、类比、多步骤问题求解等能力。其核心特征为非线性、不可预测性,即能力的出现并非渐进式提升,而是呈现跃迁式变化。
核心事实
时间轴 (近 90 天)
大语言模型展现出的涌现能力使得技术进步具有高度不可预测性,当模型规模跨过某个计算阈值时会突然展现出训练者未曾明确设计的新能力
2023年斯坦福的研究指出所谓的涌现能力可能是评估指标选择造成的统计假象
涌现能力现象仍是学术界积极研究的课题,研究者无法完全解释为什么模型会表现出某些能力
使用非线性阈值化指标(如精确匹配率)时模型性能看似突变,而改用连续指标(如对数概率)时性能提升是平滑渐进的
斯坦福大学Rylan Schaeffer团队在2023年提出反驳研究,认为「涌现」可能是评估指标选取不连续导致的视觉假象,而非模型能力的真实非线性跃升
斯坦福2023年的论文认为涌现是评估指标选择导致的测量假象,换用平滑指标后能力提升是连续的
思维链效果在参数量超过100B的模型上尤为显著
大语言模型的涌现能力是指在参数规模突破某个阈值后突然展现出的复杂推理能力
全部知识事实 (8)
大语言模型的涌现能力是指在参数规模突破某个阈值后突然展现出的复杂推理能力
80%已验证思维链效果在参数量超过100B的模型上尤为显著
70%已验证斯坦福大学Rylan Schaeffer团队在2023年提出反驳研究,认为「涌现」可能是评估指标选取不连续导致的视觉假象,而非模型能力的真实非线性跃升
65%已验证斯坦福2023年的论文认为涌现是评估指标选择导致的测量假象,换用平滑指标后能力提升是连续的
65%待验证大语言模型展现出的涌现能力使得技术进步具有高度不可预测性,当模型规模跨过某个计算阈值时会突然展现出训练者未曾明确设计的新能力
50%待验证2023年斯坦福的研究指出所谓的涌现能力可能是评估指标选择造成的统计假象
50%待验证涌现能力现象仍是学术界积极研究的课题,研究者无法完全解释为什么模型会表现出某些能力
50%待验证使用非线性阈值化指标(如精确匹配率)时模型性能看似突变,而改用连续指标(如对数概率)时性能提升是平滑渐进的
50%