Qwen3-4B
阿里巴巴通义千问系列第三代4B参数语言模型,具备较强的推理能力,支持思维链输出
核心事实
时间轴 (近 90 天)
Qwen3-4B上的消融实验显示,自适应分配相比固定的全轮次监督,将接受长度提升了3.3%至10.0%。
Skill-Uni在五个技能相关基准测试上进行了实验,相较于Qwen3-4B平均提升66.59%,相较于LLaMA3.1-8B平均提升34.82%。
在最终轮次,平均互补答案方法仅在三个模型中的一个上优于两种原始措辞中较好的那个。
一个包含24个世界的受控基准测试(每个世界恰好有两种可能结果)在所有三个模型(Qwen3-4B、Llama-3.2-3B、Gemma-3-4B)上都再现了互补一致性检验的失败。
在LLM智能体意见模拟中,智能体对互补问题(将陈述改写为否定形式并将概率p替换为1-p)的回答不满足加和为1的基本要求,这一检验在Qwen3-4B、Llama-3.2-3B和Gemma-3-4B三个小型开源模型上普遍失败。
在 Qwen3-8B 到 Qwen3-4B 的通信设置中,J-Comm 在七个基准上取得最高平均分。
Qwen3-4B是一个40亿参数的小型语言模型。
4B模型的知识容量有限,在需要深度推理或专业知识的任务上表现较弱。
Show HN项目「Qwen3-4B with the AI writing tics trained out」通过微调Qwen3-4B模型去除AI写作中的套话和口头禅。
VASPO 在 Qwen3-4B 上相比 PPO 平均准确率提升 2.59 个百分点,在 OLMo3-7B 上提升 1.81 个百分点。
还有 28 条时间轴事件
全部知识事实 (20)
QLoRA引入4-bit量化技术,使得在单张24GB显存的RTX 3090/4090上微调650亿参数级别的模型成为可能
90%已验证离策略蒸馏实验使用Qwen3 0.6B作为学生模型,Qwen3 4B作为教师模型
75%待验证Qwen3-4B上的消融实验显示,自适应分配相比固定的全轮次监督,将接受长度提升了3.3%至10.0%。
50%待验证Skill-Uni在五个技能相关基准测试上进行了实验,相较于Qwen3-4B平均提升66.59%,相较于LLaMA3.1-8B平均提升34.82%。
50%待验证在最终轮次,平均互补答案方法仅在三个模型中的一个上优于两种原始措辞中较好的那个。
50%待验证一个包含24个世界的受控基准测试(每个世界恰好有两种可能结果)在所有三个模型(Qwen3-4B、Llama-3.2-3B、Gemma-3-4B)上都再现了互补一致性检验的失败。
50%待验证在LLM智能体意见模拟中,智能体对互补问题(将陈述改写为否定形式并将概率p替换为1-p)的回答不满足加和为1的基本要求,这一检验在Qwen3-4B、Llama-3.2-3B和Gemma-3-4B三个小型开源模型上普遍失败。
50%待验证在 Qwen3-8B 到 Qwen3-4B 的通信设置中,J-Comm 在七个基准上取得最高平均分。
50%待验证4B模型的知识容量有限,在需要深度推理或专业知识的任务上表现较弱。
50%待验证Qwen3-4B是一个40亿参数的小型语言模型。
50%待验证VASPO 在 Qwen3-4B 上相比 PPO 平均准确率提升 2.59 个百分点,在 OLMo3-7B 上提升 1.81 个百分点。
50%待验证reef的OpenClaw-RL配方使用72道GSM8K题目作为任务流,Qwen3-4B同时充当策略模型和过程奖励模型,Qwen3-32B作为学生模型,使用七块GPU,并设有一个更新被接受前必须达到的阈值。
50%待验证在Qwen3-4B上,将MLP层剪枝到2:4稀疏度并加上rank-64修正后,CACTUS与LoGRA结合仍能保持与稠密LoGRA投影后C4梯度的0.711余弦对齐。
50%待验证在Qwen3-4B上做50%剪枝时,CACTUS将C4困惑度与稠密模型的差距缩小了45%。
50%待验证在Qwen3-4B上做50%剪枝时,CACTUS将WikiText-2上的压缩-稠密每样本梯度余弦相似度从0.670提升到0.755。
50%待验证GSM8K 数学推理测试中,Qwen3-4B 得分为 0.915,Gemma 4 E2B 为 0.911,差异 +0.4 个百分点且置信区间跨零,是唯一与 Gemma 同级别的模型。
50%待验证在 BFCL 工具调用测试中,SmolLM3-3B 得分 0.945,略高于 Gemma 4 E2B 的 0.927,但差异不显著;Qwen3-4B(0.940)、Qwen3-1.7B(0.935)、Qwen2.5-1.5B(0.910)、Granite 3.3 2B(0.920)均与 Gemma 处于同一水平。
50%待验证在 16 个请求各携带 3,072 token 长提示的场景下,Gemma 4 E2B 保持 1049 tokens/秒,而 Granite 3.3 2B 降至 732(0.70x),SmolLM3-3B 降至 725(0.69x),Phi-4-mini 降至 404(0.39x),Qwen3-4B 仅为 373(0.36x)。
50%待验证Gemma 4 E2B 的 KV 缓存容量为 321,280 token,是 Granite 3.3 2B(125,184)、SmolLM3-3B(120,320)、Qwen3-1.7B(100,096)、Qwen3-4B(50,688)的 2.6 到 6.3 倍。
50%待验证使用 SGUID 时,Qwen3-4B 第一轮后 HMMT25 提升 0.5 个百分点,第二轮后累计提升 1.1 个百分点。
50%