Qwen3.5-2B
通义千问系列的小型语言模型,参数量为20亿,用于实验评估KV缓存压缩方法。
时间轴 (近 90 天)
在Qwen3.5-2B模型上,DCKV将压缩后的token存储字节数降至bf16的55倍以上,同时在三个长上下文基准测试中精度损失不超过1.8个百分点。
Strands Decider 2B 基于 Qwen3.5-2B 加指针头和 LoRA,采用 Apache-2.0 许可,约 4.5GB 权重,通过单次前向传播得出校准的类型化答案。
一则Reddit技术分享声称,一个仅0.8B参数的模型在ARC-Challenge基准上取得42.15%的成绩,超过未经微调的Qwen3.5-2B基础模型,并优于使用2.5万条数据进行SFT蒸馏的方案
拿针对性训练过的0.8B模型对比未微调的stock Qwen3.5-2B基础模型存在比较基准不对等的问题
在Qwen3.5-2B模型上,GAD-RL在CHAOS-Bench取得59.92%的Micro Recall,分别比GRPO和固定权重的GRPO+OPD高出8.45和4.43个百分点
论文的验证主要集中在OCR忠实度场景和Qwen3.5-2B规模模型上,更大规模模型和更多样化任务的泛化能力尚未验证
全部知识事实 (4)
在Qwen3.5-2B模型上,DCKV将压缩后的token存储字节数降至bf16的55倍以上,同时在三个长上下文基准测试中精度损失不超过1.8个百分点。
50%待验证Strands Decider 2B 基于 Qwen3.5-2B 加指针头和 LoRA,采用 Apache-2.0 许可,约 4.5GB 权重,通过单次前向传播得出校准的类型化答案。
50%待验证在Qwen3.5-2B模型上,GAD-RL在CHAOS-Bench取得59.92%的Micro Recall,分别比GRPO和固定权重的GRPO+OPD高出8.45和4.43个百分点
50%待验证论文的验证主要集中在OCR忠实度场景和Qwen3.5-2B规模模型上,更大规模模型和更多样化任务的泛化能力尚未验证
50%