论文BeNice
BeNice!
一种后训练方法，通过将最后一次循环的KV缓存广播到第一次循环并训练兼容残差，实现循环架构的KV缓存跨循环共享，在不损失质量的前提下降低推理显存占用。
时间轴 (近 90 天)
10月23日
新论文提出两阶段方案：预训练用随机深度诱导收缩残差，后训练用BeNice!广播KV缓存实现KV共享。
待验证50%
10月23日
BeNice!方法将最后一次循环的KV缓存广播到第一次循环，并训练第一次循环产生与之兼容的残差。
待验证50%
10月23日
BeNice!在启用KV共享的同时，验证集困惑度与标准微调（不共享）持平，不牺牲原模型质量。
待验证50%