组合泛化
AI与认知科学领域的核心概念,指模型将已学到的基本操作重新组合以解决训练中未见过的复合任务的能力,被视为通往真正智能推理的关键门槛
核心事实
时间轴 (近 90 天)
ZAP能够完成训练数据中未出现的组合泛化任务,包括将试管放入试管架并选择孔位、空中双臂交接试管、在井字棋盘上画X、下国际象棋。
组合泛化(Compositional Generalization)指模型能够理解和生成训练中未见过的新组合的能力,例如学会“猫追老鼠”和“狗追球”后能理解“猫追球”。
三元组结构化表示通过将复杂命题拆解为基本单元并显式组合,有望提升模型对组合结构的敏感度,从而更好地泛化到新组合。
传统神经网络在组合泛化上表现不佳,往往依赖表面统计规律。
辅助任务是多任务学习中的常见设计模式,在主要训练目标之外增加额外预测目标,这些辅助目标共享模型部分参数
学界通常用组合泛化(compositional generalization)来衡量真实推理能力
通过合并多个已训练模型的参数来生成新的权衡组合被证明是有帮助的
组合泛化概念源自语言学家乔姆斯基的生成语法理论,指通过有限规则生成无限组合
研究表明大规模多模态模型通过海量数据训练在一定程度上涌现出组合泛化能力,但在某些极端组合上仍会失败
全部知识事实 (9)
辅助任务是多任务学习中的常见设计模式,在主要训练目标之外增加额外预测目标,这些辅助目标共享模型部分参数
75%待验证ZAP能够完成训练数据中未出现的组合泛化任务,包括将试管放入试管架并选择孔位、空中双臂交接试管、在井字棋盘上画X、下国际象棋。
50%待验证组合泛化(Compositional Generalization)指模型能够理解和生成训练中未见过的新组合的能力,例如学会“猫追老鼠”和“狗追球”后能理解“猫追球”。
50%待验证传统神经网络在组合泛化上表现不佳,往往依赖表面统计规律。
50%待验证三元组结构化表示通过将复杂命题拆解为基本单元并显式组合,有望提升模型对组合结构的敏感度,从而更好地泛化到新组合。
50%待验证学界通常用组合泛化(compositional generalization)来衡量真实推理能力
50%待验证通过合并多个已训练模型的参数来生成新的权衡组合被证明是有帮助的
50%待验证组合泛化概念源自语言学家乔姆斯基的生成语法理论,指通过有限规则生成无限组合
50%待验证研究表明大规模多模态模型通过海量数据训练在一定程度上涌现出组合泛化能力,但在某些极端组合上仍会失败
50%