待验证50% 置信基准精确时间
8 人并发时，每人 19 tokens/s，合计 130 tokens/s，首 token 延迟 2 到 8 秒
1
来源数
50%
置信度
短期 (~14 天)
时效性
2026/10/17
首次发现
此条事实已过期，仅作历史留存，不再代表当前状态
有效期至：2026/10/31(已过期)
来源
一张RTX 5090跑125B编程模型：吞吐瓶颈与调优实录
rss2026/10/17
涉及实体
相关事实
待验证通常认为单并发 100 tokens/秒以上即可实现流畅的打字机效果，约 200 tokens/秒生成 2000 字长文本仅需约 10 秒76% 相似已验证在输出（Decode）速度测试中，2 万 token 以内可达约 45 tokens/秒，3 万 token 以上骤降至约 20 tokens/秒75% 相似待验证Perplexity 公布自测延迟（9月30日）：几百输入 token 低于 2 秒，90k token 约 5 秒，190k token 约 14 秒，接近 262k 上限约 23 秒。74% 相似待验证并发场景下多个请求会平均分摊生成速度，例如单请求40 token/s时4并发下每个约10 token/s73% 相似待验证在八个智能体各处理 7.5k token 文档、第二秒发出聊天请求的测试场景下，Superfluid 用 0.36 秒给出回答，llama-server 超过 10 秒未输出首 token，首 token 延迟差距约 30 倍。73% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1053015API
curl https://kongchang.com/api/v1/knowledge/claims/1053015MCP
get_claim(id=1053015)