概念TVP / TVP loss
TVP损失函数
一种基于期望接受长度的损失函数族,用于投机解码中训练草稿模型,通过幂参数在覆盖导向和接受导向目标之间插值,以提升接受长度
时间轴 (近 90 天)
11月3日
TVP是一个基于期望接受长度的损失函数族,其幂参数能够在覆盖导向和接受导向的目标之间插值。
待验证50%
11月3日
通过将幂参数从零退火到一,TVP在三种草稿模型架构和三种目标模型上取得了最高或并列最高的接受长度。
待验证50%
11月3日
微调时TVP相比CE将接受长度提升了9.8%。
待验证50%
11月3日
微调时TVP相比公开的DFlash2训练方案提升了6.2%到12.9%的接受长度。
待验证50%
11月3日
TVP在块验证场景下同样取得最优接受长度。
待验证50%
11月3日
TVP的幂参数退火策略简单有效,易于集成到现有训练流程中。
待验证50%