流式推理

允许大模型边生成边输出的推理方式，与传统自回归需生成完整序列才能输出相对，是实现实时语音交互的关键技术之一