概念模型崩塌 / 模型崩溃
Model Collapse
机器学习领域的概念,指AI模型在训练数据中混入大量AI生成内容后,逐渐偏离真实人类数据分布,导致输出质量下降、多样性降低、同质化加剧的现象
核心事实
时间轴 (近 90 天)
10月19日
模型崩溃的机制是递归训练造成的分布漂移,属于学习层面的问题;而虚假论断通过文档复制扩散是内容层面的污染,两者干预手段不同。
待验证50%
9月11日
模型崩溃过程中,模型会逐渐丢失数据分布的长尾部分,最终收敛到单调、重复、缺乏多样性的输出
已验证65%
9月1日
模型崩溃指AI模型使用前代模型生成数据训练后,经过多代迭代输出分布会逐渐偏离原始真实数据分布,丢失分布尾部信息
已验证80%
8月31日
能力退化现象(也称'模型坍缩')在用模型自身生成的合成数据进行微调时已被多次观察到
待验证50%
8月31日
2023年牛津大学等机构发表研究,实验中发现经过仅5-10代递归训练,模型输出质量就会出现肉眼可见的退化
待验证60%
全部知识事实 (7)
已验证
模型崩溃指AI模型使用前代模型生成数据训练后,经过多代迭代输出分布会逐渐偏离原始真实数据分布,丢失分布尾部信息
80%已验证模型坍缩(Model Collapse)概念在2023年由牛津大学和剑桥大学研究团队在Nature论文中正式提出
80%已验证模型崩溃过程中,模型会逐渐丢失数据分布的长尾部分,最终收敛到单调、重复、缺乏多样性的输出
65%待验证当生成模型反复在自身生成的数据上训练时,输出分布会逐渐退化,低概率事件被系统性遗忘
85%待验证2023年牛津大学等机构发表研究,实验中发现经过仅5-10代递归训练,模型输出质量就会出现肉眼可见的退化
60%待验证模型崩溃的机制是递归训练造成的分布漂移,属于学习层面的问题;而虚假论断通过文档复制扩散是内容层面的污染,两者干预手段不同。
50%待验证能力退化现象(也称'模型坍缩')在用模型自身生成的合成数据进行微调时已被多次观察到
50%