Qwen3.5-0.8B
阿里巴巴Qwen系列的0.8B参数小型语言模型,可通过外挂记忆模块与动态门控机制提升语言建模能力
时间轴 (近 90 天)
官方数据显示,在单张 B200 上,LFM2.5-1.2B 在 RIPL 上的 p95 延迟比 Qwen3.5-0.8B 在 vLLM 上低 14.4 至 28.4 倍。
在194条Yelp文本判断上,B1(0.8B)正确184条,B2(4B)正确192条;平均NLL分别为0.09620和0.04024。
在1,184条历史多任务问题上,B1正确951条,B2正确1,033条,NLL分别为0.60133和0.46749。
B1做出181个置信度不低于0.9的预测,其中1个错误;B2做出188个,其中2个错误;更好的平均值不自动意味着更少的高置信度错误,0.9也不是现成的生产阈值。
实验中冻结了Qwen3.5-0.8B主干和约510亿参数的PLE记忆模块,只训练了部署在解码器第3层和第9层的R=1读取器
Qwen3.5-0.8B原版NLL为2.905585,PPL为18.2759;Qwengram-0.8B的NLL为2.853786,PPL为17.3534
将Qwen3.8 Flash-Next预训练的PLE(n-gram记忆)迁移到Qwen3.5-0.8B模型上,在冻结验证集上取得了5.05%的困惑度下降
全部知识事实 (7)
官方数据显示,在单张 B200 上,LFM2.5-1.2B 在 RIPL 上的 p95 延迟比 Qwen3.5-0.8B 在 vLLM 上低 14.4 至 28.4 倍。
50%待验证在194条Yelp文本判断上,B1(0.8B)正确184条,B2(4B)正确192条;平均NLL分别为0.09620和0.04024。
50%待验证在1,184条历史多任务问题上,B1正确951条,B2正确1,033条,NLL分别为0.60133和0.46749。
50%待验证B1做出181个置信度不低于0.9的预测,其中1个错误;B2做出188个,其中2个错误;更好的平均值不自动意味着更少的高置信度错误,0.9也不是现成的生产阈值。
50%待验证实验中冻结了Qwen3.5-0.8B主干和约510亿参数的PLE记忆模块,只训练了部署在解码器第3层和第9层的R=1读取器
50%待验证Qwen3.5-0.8B原版NLL为2.905585,PPL为18.2759;Qwengram-0.8B的NLL为2.853786,PPL为17.3534
50%待验证将Qwen3.8 Flash-Next预训练的PLE(n-gram记忆)迁移到Qwen3.5-0.8B模型上,在冻结验证集上取得了5.05%的困惑度下降
50%