#模型坍缩

自训练下的语言模型：词汇更丰富，熵却反降？

GPT-2九代自训练实验揭示：词汇类型减少24%的同时碰撞熵反升0.91比特，Renyi熵转折顺序稳健，挑战模型坍缩的单一指标评估。