Together AI 推出 Together Compiler：智能体驱动推理加速高达 2.6 倍

Together AI 发布 Together Compiler，一个由智能体驱动、持续优化的推理编译器。它能在流量模式变化时不断重新优化推理前向计算，在单个模型上不到 24 小时内就达到比最佳 InferenceX 配置高最多 2.6 倍的 TPS。

从静态优化到持续编译

传统推理优化往往在模型部署前完成一次调优，之后便假设负载特征保持稳定。但真实流量会随时间、业务和用户行为漂移，静态配置很快就不再是最优解。Together Compiler 的核心思路是把编译过程变成闭环：智能体持续观察推理性能，针对当前前向计算的瓶颈生成并验证优化方案，再把有效改动保留下来。

据 MarkTechPost 报道，这一循环的优化对象是推理前向计算（inference forward pass），并且能随着流量变化持续重新优化。这意味着优化不再是一次性工程任务，而是一个随负载演进的持续过程。

性能表现：对比 InferenceX 最佳配置

Together AI 给出的关键数据是：Together Compiler 在单个模型上、不到 24 小时内，TPS 最高达到最佳 InferenceX 配置的 2.6 倍。这里值得注意两点。

第一，对比基线是“最佳 InferenceX 配置”，而不是随意选择的默认参数。InferenceX 本身用于衡量推理性能，因此这一比较更具参考意义。第二，优化周期以“每模型不到 24 小时”计，说明该方法试图在可接受的时间窗口内完成迭代，而不是依赖漫长的离线调优。

InferenceX 是一个用于衡量推理性能的基准套件或配置集合，通常由业界机构（如 MLPerf 社区或硬件厂商）维护，旨在为不同模型和硬件组合提供可复现的推理性能参考点。它包含一系列预调优的配置，覆盖批处理大小、并行策略、量化精度等参数，代表了在特定场景下经过充分工程优化的性能水平。因此，将 Together Compiler 与“最佳 InferenceX 配置”对比，实质上是与一个经过人工精细调优的强基线竞争，而非与默认参数比较。这增加了结果的说服力，但也意味着实际收益可能因基线强度而异：若 InferenceX 配置已针对目标负载高度优化，提升空间会缩小；反之，在未充分调优的场景中，持续编译的增益可能更显著。

智能体在编译循环中扮演什么角色

从描述看，智能体不是直接生成最终内核，而是驱动一个反复试探、评估与收敛的循环。它可以针对当前推理负载提出优化假设，交由系统验证，再根据结果决定保留或回退。这种模式把编译器优化从“人工调参”转向“自动搜索加持续验证”。

这也解释了为什么它能跟随流量变化：当负载特征改变时，循环会重新启动，寻找新的更优配置。对于需要长期在线服务的推理场景，这种持续编译能力可能比单次峰值性能更重要。

推理前向计算（inference forward pass） 指模型在接收到输入后，依次经过各层网络计算并输出预测结果的过程。与训练阶段不同，推理前向计算不涉及反向传播和参数更新，但其性能直接决定了服务延迟和吞吐量。优化前向计算通常涉及算子融合、内存布局调整、并行策略选择、内核自动调优等技术。Together Compiler 将优化对象限定为前向计算，意味着它专注于服务时的计算图执行效率，而非训练或微调过程。这种聚焦使得编译器可以针对特定硬件和负载特征进行深度定制，但也要求它能够快速适应输入形状、批大小和序列长度的动态变化。

对推理部署的启示

Together Compiler 反映出一个趋势：推理优化正从一次性静态配置，走向与运行时负载绑定的持续优化。对于模型服务提供方，这意味着基础设施层需要支持频繁的配置更新与验证，而不是把优化视为部署前的一次性关卡。

同时，“最多 2.6 倍”是特定模型和特定基线下的结果，实际收益会随模型结构、流量模式和硬件环境变化。评估这类工具时，应关注它在自身负载下的持续收益，而不仅是峰值数字。