[控场AI]
概念模型崩塌 / 模型崩溃

Model Collapse

机器学习领域的概念,指AI模型在训练数据中混入大量AI生成内容后,逐渐偏离真实人类数据分布,导致输出质量下降、多样性降低、同质化加剧的现象

核心事实

时间轴 (近 90 天)

10月19日

模型崩溃的机制是递归训练造成的分布漂移,属于学习层面的问题;而虚假论断通过文档复制扩散是内容层面的污染,两者干预手段不同。

待验证50%
9月11日

模型崩溃过程中,模型会逐渐丢失数据分布的长尾部分,最终收敛到单调、重复、缺乏多样性的输出

已验证65%
9月1日

模型崩溃指AI模型使用前代模型生成数据训练后,经过多代迭代输出分布会逐渐偏离原始真实数据分布,丢失分布尾部信息

已验证80%
8月31日

能力退化现象(也称'模型坍缩')在用模型自身生成的合成数据进行微调时已被多次观察到

待验证50%
8月31日

2023年牛津大学等机构发表研究,实验中发现经过仅5-10代递归训练,模型输出质量就会出现肉眼可见的退化

待验证60%

全部知识事实 (7)

来源文章