[控场AI]
模型Qwengram-0.8B

Qwen3.5-0.8B

阿里巴巴Qwen系列的0.8B参数小型语言模型,可通过外挂记忆模块与动态门控机制提升语言建模能力

时间轴 (近 90 天)

10月22日

官方数据显示,在单张 B200 上,LFM2.5-1.2B 在 RIPL 上的 p95 延迟比 Qwen3.5-0.8B 在 vLLM 上低 14.4 至 28.4 倍。

待验证50%
10月18日

在194条Yelp文本判断上,B1(0.8B)正确184条,B2(4B)正确192条;平均NLL分别为0.09620和0.04024。

待验证50%
10月18日

在1,184条历史多任务问题上,B1正确951条,B2正确1,033条,NLL分别为0.60133和0.46749。

待验证50%
10月18日

B1做出181个置信度不低于0.9的预测,其中1个错误;B2做出188个,其中2个错误;更好的平均值不自动意味着更少的高置信度错误,0.9也不是现成的生产阈值。

待验证50%
9月25日

实验中冻结了Qwen3.5-0.8B主干和约510亿参数的PLE记忆模块,只训练了部署在解码器第3层和第9层的R=1读取器

待验证50%
9月25日

Qwen3.5-0.8B原版NLL为2.905585,PPL为18.2759;Qwengram-0.8B的NLL为2.853786,PPL为17.3534

待验证50%
9月25日

将Qwen3.8 Flash-Next预训练的PLE(n-gram记忆)迁移到Qwen3.5-0.8B模型上,在冻结验证集上取得了5.05%的困惑度下降

待验证50%

全部知识事实 (7)

来源文章