Kimi K3.1 Pro发布：2.8T参数MoE、1M上下文

Moonshot AI 正式发布 Kimi K3.1 Pro——一个总参数 2.8T、激活参数 104B 的混合专家（MoE）模型，上下文窗口达到 1M token。这个规格组合直指当前大模型竞争的两个核心战场：极致稀疏化带来的推理成本优势，以及超长上下文支撑的工程化落地。

参数架构：2.8T 总量与 104B 激活的稀疏设计

Kimi K3.1 Pro 采用 MoE 架构，总参数量 2.8 万亿，但每次前向推理仅激活 104B 参数。激活占比约 3.7%，属于高度稀疏的设计路线。这一取舍的逻辑很清晰：用超大参数总量承载更广的知识与能力覆盖，同时把单次推理的算力开销控制在百亿参数级别，避免稠密模型在长上下文场景下的成本失控。

对于开发者而言，104B 激活参数意味着推理硬件的门槛远低于 2.8T 这个数字给人的第一印象。真正决定部署成本的是激活路径，而非权重总量。

混合专家（MoE）架构的核心思想是把前馈网络拆分成多个并行的“专家”子网络，再由一个门控网络（router）为每个 token 动态选择其中少数几个专家参与计算。这样模型的总参数量可以做得很大，但单个 token 前向传播时只走一条稀疏路径，算力开销大致与“激活参数量”成正比。业界常见的稀疏比例在 5%–15% 之间，像 Kimi K3.1 Pro 这样把激活占比压到约 3.7%，属于较激进的稀疏化。代价是显存占用仍由总参数决定——2.8T 权重即便以低精度存储也需要可观的显存，因此 MoE 模型通常依赖多卡并行或专家并行（expert parallelism）来部署，这也是“总参数大、激活参数小”不等于“单卡可跑”的原因。

激活参数与部署成本的关系值得单独说明：推理时的 FLOPs 主要由激活参数决定，因此吞吐和延迟表现接近百亿参数级稠密模型；但权重加载、显存容量和跨卡通信仍与总参数量挂钩。实际部署中，MoE 往往更吃显存带宽和卡间互联，而非单纯算力。此外，MoE 对负载均衡敏感，若门控把 token 集中分配给少数专家，会造成部分卡空转，这也是各家在训练时引入辅助负载均衡损失的原因。

1M 上下文：长文档与代码库级任务的基础设施

100 万 token 的上下文窗口，是这次发布中工程价值最高的指标之一。它对应的是整本技术文档、中型代码仓库、长周期对话历史这类真实场景，而不是单纯的跑分炫技。

结合 104B 激活的稀疏架构，长上下文与低推理成本形成了互补：上下文越长，单位 token 的边际成本越重要，而 MoE 恰好在这个维度上占优。

超长上下文的技术难点不止在于“能装下”，更在于“能用好”。Transformer 的注意力计算随序列长度呈平方增长，1M token 的原始注意力在算力上不可行，因此长上下文模型普遍采用稀疏注意力、分块注意力或线性/近似注意力等变体，并配合位置编码外推技术（如 RoPE 的插值或频率调整）把训练时的短窗口能力延伸到更长序列。另一类常见做法是分层记忆或检索式压缩，把远端上下文摘要化。

评测上，业界常用“大海捞针”（Needle in a Haystack）类测试检验模型能否在长文本任意位置准确召回信息，但这类测试偏重检索，无法完全反映多跳推理、跨章节整合等真实长文档任务的能力。因此 1M 窗口的实际价值，取决于模型在长距离依赖上的推理质量与一致性，而不仅是窗口长度这个数字。此外，长上下文会显著推高 KV Cache 的显存占用，工程上常通过分组查询注意力（GQA）、KV Cache 量化或分页管理来缓解，这也是长上下文模型推理成本的重要组成部分。

Terminal-Bench 4.0 与定价：能力与成本的双重定位

官方披露 Kimi K3.1 Pro 在 Terminal-Bench 4.0 上取得 65.7% 的得分。该基准主要考察模型在终端环境中的实际操作与任务完成能力，与智能体（Agent）类应用高度相关。65.7% 这一数字放在当前同类模型中具备竞争力，但基准成绩与实际工程表现之间仍需独立验证。

定价方面，输入 2 美元/百万 token、输出 10 美元/百万 token。在 2.8T 总参数、1M 上下文的规格下，这一定价处于中端偏上的位置，输出成本是输入的 5 倍，符合当前主流 API 的计费惯例。

Terminal-Bench 是一类面向智能体（Agent）的评测基准，任务通常要求在真实的命令行环境中完成多步骤操作，例如配置开发环境、调试脚本、处理文件与依赖、执行 Git 操作等。评测会为模型提供一个容器化终端，模型需要自主发出 shell 命令、读取输出、纠错并推进任务，最终以任务是否达成为判定标准。相比静态问答基准，它更贴近“模型能否真正动手干活”，因此与编码智能体、自动化运维等应用强相关。

这类基准的得分受脚手架（scaffold）影响较大——同一模型在不同智能体框架、不同重试策略下的成绩可能相差明显，因此跨模型比较时需要确认评测条件是否一致。65.7% 这类数字更适合作为能力量级的参考，而非精确排名。API 定价方面，输入与输出不对称计费是行业惯例，原因是输出 token 需要逐 token 自回归生成，占用算力时间更长；而输入可通过批处理与 KV Cache 复用摊薄成本。评估实际花费时，还应把长上下文带来的输入 token 膨胀计入——1M 窗口场景下输入费用往往才是大头。

开放权重的时间表

Moonshot AI 计划在 11 月 4 日开放模型权重。对于关注可私有化部署、数据合规或二次微调的团队来说，这是比 API 定价更关键的信息——开放权重意味着模型能力可以被内化到自有基础设施中，而不必完全依赖云端调用。

这次发布意味着什么

Kimi K3.1 Pro 的规格组合反映了当前开源/半开源大模型的一条清晰路线：用极致稀疏的 MoE 撑起参数规模，用超长上下文打开应用边界，再用开放权重争取生态。能否在真实工作负载中兑现 65.7% 的 Terminal-Bench 表现和 1M 上下文的稳定性，将决定它能否从规格表上的亮点转化为开发者的实际选择。