TokenSpeed
基于PyTorch的推理阶段Token生成加速工具，通过投机解码、KV Cache优化或量化等技术手段提升大模型推理吞吐量，已纳入PyTorch官方生态版图
核心事实
时间轴 (近 90 天)
原始Qwen3.8-Flash-Next权重支持vLLM、SGLang、Transformers和TokenSpeed，且SGLang在发布当天就有day-0支持。
TokenSpeed 为 Blackwell 架构优化的 MLA 内核已被 vLLM 采纳。
TokenSpeed 提供基于 SMG 项目构建的 OpenAI 兼容 API 服务器，现有 OpenAI 客户端只需修改 base_url 即可对接。
TokenSpeed 需要 NVIDIA GPU 主机（nightly wheel 需要 CUDA 13）或搭载 ROCm 7.2 的 AMD 主机，Python 3.11 到 3.13。
在 NVIDIA B200 上运行 Kimi K2.5，使用真实编程智能体轨迹（SWE-smith，EvalScope 评估），TokenSpeed 在整个延迟/吞吐量曲线上优于 TensorRT-LLM；batch size 1 时约快 9%，在每用户约 100 token/秒时吞吐量高约 11%。
TokenSpeed 的 MLA 解码内核在典型投机解码工作负载下，延迟约为 TensorRT-LLM 的一半。
在 Qwen3.5-397B-A17B 上，TokenSpeed 在智能体工作负载报告了最高 580 token/秒的速度。
TokenSpeed 基准测试工具包含在仓库的 test/agentic_benchmark 目录中，可用于在自有流量上复现。
TokenSpeed 提供 Docker runner 镜像 lightseekorg/tokenspeed-runner:latest，挂载缓存目录后模型权重在容器重启后保留。
TokenSpeed 是 LightSeek Foundation 推出的开源 LLM 推理引擎，定位为兼具 vLLM 级别易用性与 TensorRT-LLM 级别性能，并专门针对编程智能体场景做深度调优。
还有 8 条时间轴事件
全部知识事实 (14)
该测试中模型短上下文场景输出速度约20 token/秒，200K+上下文降至约13 token/秒
65%待验证原始Qwen3.8-Flash-Next权重支持vLLM、SGLang、Transformers和TokenSpeed，且SGLang在发布当天就有day-0支持。
50%待验证TokenSpeed 需要 NVIDIA GPU 主机（nightly wheel 需要 CUDA 13）或搭载 ROCm 7.2 的 AMD 主机，Python 3.11 到 3.13。
50%待验证TokenSpeed 的调度器控制面用 C++ 写成有限状态机，执行侧保留在 Python 中。
50%待验证TokenSpeed 提供基于 SMG 项目构建的 OpenAI 兼容 API 服务器，现有 OpenAI 客户端只需修改 base_url 即可对接。
50%待验证TokenSpeed 基准测试工具包含在仓库的 test/agentic_benchmark 目录中，可用于在自有流量上复现。
50%待验证TokenSpeed 提供 Docker runner 镜像 lightseekorg/tokenspeed-runner:latest，挂载缓存目录后模型权重在容器重启后保留。
50%待验证TokenSpeed 是 LightSeek Foundation 推出的开源 LLM 推理引擎，定位为兼具 vLLM 级别易用性与 TensorRT-LLM 级别性能，并专门针对编程智能体场景做深度调优。
50%待验证TokenSpeed 是 lightseekorg 团队开源的一个 LLM 推理引擎，官方定位为'speed-of-light LLM inference engine'（光速级大语言模型推理引擎），以 Python 为主要语言。
50%待验证TokenSpeed 的真正考验在于能否把'光速'从一个营销词汇变成可复现的 benchmark 数字，并在真实负载下保持稳定；其 benchmark 数据、社区反馈和生产案例将是判断其价值的关键信号。
50%待验证TokenSpeed聚焦于推理阶段的Token生成加速
50%待验证TokenSpeed 为 Blackwell 架构优化的 MLA 内核已被 vLLM 采纳。
50%待验证TokenSpeed 若要在速度上建立壁垒，可能的发力点包括更激进的量化策略、更细粒度的算子融合，或是针对特定硬件拓扑的调度优化。
50%待验证PyTorch生态工作组宣布将10个新项目纳入PyTorch生态版图，分别是Perforated、AReaL、TorchJD、RLinf、Miles、SMG、FiftyOne、TokenSpeed、VisualTorch和TorchSurv
50%