tok/s

在本地大模型社区，每秒令牌数（tok/s）几乎成了衡量模型好坏的唯一标尺。

在 agent 轮次上，并发 agent 数为 1 时中位数 186 tok/s、p5 134 tok/s；为 4 时中位数 59 tok/s、p5 52 tok/s；为 6 时中位数 40 tok/s、p5 34 tok/s。文章设定每人 40 tok/s 为标准，四条流并发留 10% 余量即为这台机器的容量。

20 tok/s左右接近跟得上阅读的体验，6 tok/s则明显有逐字蹦出的迟滞感。

单一吞吐量数字（tok/s）无法反映模型的真实能力、长文本代价和横向可比性

在流式对话场景中，模型生成速度低于2 tok/s基本无法实现流畅交互