[控场AI]
概念compositional generalization

组合泛化

AI与认知科学领域的核心概念,指模型将已学到的基本操作重新组合以解决训练中未见过的复合任务的能力,被视为通往真正智能推理的关键门槛

核心事实

时间轴 (近 90 天)

10月27日

ZAP能够完成训练数据中未出现的组合泛化任务,包括将试管放入试管架并选择孔位、空中双臂交接试管、在井字棋盘上画X、下国际象棋。

待验证50%
10月21日

组合泛化(Compositional Generalization)指模型能够理解和生成训练中未见过的新组合的能力,例如学会“猫追老鼠”和“狗追球”后能理解“猫追球”。

待验证50%
10月21日

三元组结构化表示通过将复杂命题拆解为基本单元并显式组合,有望提升模型对组合结构的敏感度,从而更好地泛化到新组合。

待验证50%
10月21日

传统神经网络在组合泛化上表现不佳,往往依赖表面统计规律。

待验证50%
10月2日

辅助任务是多任务学习中的常见设计模式,在主要训练目标之外增加额外预测目标,这些辅助目标共享模型部分参数

已验证75%
10月2日

学界通常用组合泛化(compositional generalization)来衡量真实推理能力

待验证50%
9月24日

通过合并多个已训练模型的参数来生成新的权衡组合被证明是有帮助的

待验证50%
9月12日

组合泛化概念源自语言学家乔姆斯基的生成语法理论,指通过有限规则生成无限组合

待验证50%
9月12日

研究表明大规模多模态模型通过海量数据训练在一定程度上涌现出组合泛化能力,但在某些极端组合上仍会失败

待验证50%

全部知识事实 (9)

来源文章