概念
推理加速
通过图优化、硬件适配等手段提升模型推理速度的技术，常用工具包括TensorRT、ONNX Runtime、OpenVINO等。
时间轴 (近 90 天)
10月28日
推理加速与部署关注量化、蒸馏、KV Cache、vLLM等工程优化
待验证50%
10月25日
两位研究者选择推理加速作为RSI落地场景，因为推理变快意味着同样算力能跑更多采样和rollout，进而训练更聪明的模型，而更聪明的模型又能让推理更快，使分子和分母同时改善。
待验证50%
10月19日
推理加速技术正在从通用优化走向负载感知，针对特定工作负载特征重新设计解码流程可能比在通用框架上做增量改进更有效。
待验证50%
9月15日
模型加速通常指在保持输出质量可接受前提下减少生成所需的步数、时间或计算资源
待验证50%