[控场AI]
概念Parameter Count / 模型参数

参数量

指大语言模型内部可训练权重的数量,通常以十亿(B)为单位计量,决定模型容量上限,但并非性能的唯一决定因素,训练数据质量与策略同样关键

时间轴 (近 90 天)

10月27日

模型名称中的 “0.8B” 和 “4B” 指参数量,B 代表 Billion(十亿),参数量决定模型的表达能力与资源需求。

待验证50%
10月25日

缩放定律(scaling laws)描述了模型损失随参数量、数据量和计算量呈幂律下降的经验规律。

待验证50%
10月25日

参数规模不等于实际能力,小模型在特定任务上可能优于大模型,选型应以任务需求而非参数数字为准。

待验证50%
10月20日

参数规模主要影响模型的容量与知识密度,但工程化落地能力更取决于训练数据配比、后训练(指令微调、RLHF)以及推理时的上下文管理。

待验证50%
10月18日

模型参数存储与显存下限的估算公式为:参数量 × 位宽 ÷ 8 = 字节数。

待验证50%
10月7日

模型参数量严重超标会导致 OOM(内存溢出)报错无法启动,轻微超标会借用普通内存使速度大幅下降

待验证50%
9月16日

模型名字后的数字(如4B、8B)代表参数量,数字越大能力越强但硬件要求越高

待验证50%

全部知识事实 (7)

来源文章