概念parallel sampling
并行采样
一种模型推理策略，指在推理时同时生成多个候选结果，再通过置信度分布或打分机制筛选最优输出，与自回归逐token串行生成相对，可显著提升推理吞吐量和速度。
核心事实
时间轴 (近 90 天)
10月31日
在并行采样、束搜索等解码算法中，一个prompt会生成多个输出，每个结果都需要存储完整序列，导致prompt被重复存储多次。
待验证50%
10月21日
论文指出顺序采样策略在效果上优于传统的并行采样。
待验证50%
10月12日
并行采样允许采样器随机选择哪些坐标一起生成，从而把串行的多步计算压缩进更少的轮次
待验证50%
9月21日
Jev的速度和成本优势来源于放弃通用文本生成，针对有限决策空间做并行采样，绕开自回归解码的串行瓶颈
待验证50%
9月17日
被对标的架构（作者称之为 Jev）采用并行采样，通过 RLCD 进行训练，输出置信度分布和 schema 选择
待验证50%
9月16日
Jev 的响应时间为 70-500ms
已验证65%