推理
模型训练完成后，实际响应用户请求、生成输出的过程，具有并发量巨大、单次计算量相对小、对延迟和单位成本极为敏感的特点，是AI大规模商用后消耗算力最多的环节。
核心事实
时间轴 (近 90 天)
推理通常更关注延迟和吞吐量，而训练更关注计算总量和收敛效果。
当推理请求量随应用普及而暴涨，中小规模部署方会选择消费级旗舰卡来填补缺口。
训练需要海量显存与卡间互联带宽，几乎必须依赖专业加速卡；而推理对互联要求低，更看重单卡显存容量与单位成本。
同一块H100 GPU执行相同推理请求、输出相同token数时，耗电量基本一致。
模型训练是一次性的，但推理会随用户请求持续发生，因此推理成本往往占据AI总成本的绝大部分。
推理是机器学习术语，指用训练好的模型对新输入数据执行计算、得出结果的过程，区别于耗时的训练阶段。
推理（Inference）指模型加载后根据输入提示词逐 Token 生成回答的计算过程，与训练不同；本地运行时推理在用户 CPU 或 GPU 上完成。
预训练与推理在工程需求上有本质差异：推理是前向计算，对数值精度容忍度高，可量化到INT8甚至INT4，且可离线编译固定计算图；预训练需完整的前向与反向传播、优化器状态维护、梯度跨设备同步。
发送一条聊天消息不会立即重新训练模型；训练通过大量数据反复调整模型参数，耗时数周甚至数月，通常在离线完成；推理则用已训练好的固定参数处理新输入。
训练是指用大规模数据反复迭代模型参数，属于离线、长周期任务；推理是模型上线后响应用户每一次请求的前向计算过程，是实时、高并发的在线任务。
还有 13 条时间轴事件
全部知识事实 (20)
英伟达长期主导AI训练与推理所需的GPU算力市场
75%已验证测试时计算范式的核心思想是将资源从训练阶段转移到生成答案过程，通过消耗更多推理算力换取更高质量输出
75%已验证智能体的本质是让模型具备规划、工具调用、多步推理和环境交互能力
75%待验证推理通常更关注延迟和吞吐量，而训练更关注计算总量和收敛效果。
50%待验证当推理请求量随应用普及而暴涨，中小规模部署方会选择消费级旗舰卡来填补缺口。
50%待验证训练需要海量显存与卡间互联带宽，几乎必须依赖专业加速卡；而推理对互联要求低，更看重单卡显存容量与单位成本。
50%待验证同一块H100 GPU执行相同推理请求、输出相同token数时，耗电量基本一致。
50%待验证模型训练是一次性的，但推理会随用户请求持续发生，因此推理成本往往占据AI总成本的绝大部分。
50%待验证推理是机器学习术语，指用训练好的模型对新输入数据执行计算、得出结果的过程，区别于耗时的训练阶段。
50%待验证推理（Inference）指模型加载后根据输入提示词逐 Token 生成回答的计算过程，与训练不同；本地运行时推理在用户 CPU 或 GPU 上完成。
50%待验证预训练与推理在工程需求上有本质差异：推理是前向计算，对数值精度容忍度高，可量化到INT8甚至INT4，且可离线编译固定计算图；预训练需完整的前向与反向传播、优化器状态维护、梯度跨设备同步。
50%待验证发送一条聊天消息不会立即重新训练模型；训练通过大量数据反复调整模型参数，耗时数周甚至数月，通常在离线完成；推理则用已训练好的固定参数处理新输入。
50%待验证训练是指用大规模数据反复迭代模型参数，属于离线、长周期任务；推理是模型上线后响应用户每一次请求的前向计算过程，是实时、高并发的在线任务。
50%待验证训练可以集中在少数超算集群完成，但推理是持续开销，压低推理每token成本有助于占据AI产品毛利主动。
50%待验证业界普遍认为推理将成为数据中心算力支出的主体。
50%待验证在线实时推理通常是小批量或单条请求的低延迟任务，其瓶颈往往是内存带宽而非算力
50%待验证推理的基本形式是'如果—那么'：如果x为真，那么y必然为真
50%待验证对于纯推理场景，模型权重通常只需一次性加载，数据重力的束缚远不如训练阶段显著
50%待验证推理是模型部署上线后实际处理用户请求的过程，是长期、持续、随用户量线性增长的开销
50%待验证训练追求吞吐量最大化，而推理对延迟极为敏感且流量波动难以预测
50%