自回归模型
自回归模型是一类基于序列概率分解的生成式模型，通过依次预测序列中的每个元素（如文本中的token），将联合概率建模为条件概率的连乘积。其核心特征是利用已生成的历史信息预测下一个输出，具有因果性和顺序依赖性。自回归模型被广泛应用于自然语言处理、语音合成和图像生成等领域，是大型语言模型的主流架构之一。
核心事实
时间轴 (近 90 天)
自回归模型逐 token 生成，每一步都以前面已生成的内容为条件。
在新闻摘要任务上，NCM质量得分优于扩散模型；在结构化推理任务上NCM大幅胜出；而在德英翻译任务上逐词自回归模型质量更优。
在德英翻译任务中，一个逐词生成的自回归模型作为对照，其质量分比NCM高2.6分，NCM通过最小贝叶斯风险解码追平但消耗约一倍算力。
主流大语言模型（如 GPT、Llama 系列）采用自回归方式逐个 token 预测下一个词，生成过程是串行的。
扩散模型（如Diffusion Gemma）一次并行处理256个token的块，而自回归模型逐个预测token。
穿模的根源在于扩散或自回归生成模型优化像素/帧级别似然，而非显式刚体约束，长时间滚动后误差会累积放大。
自回归模型生成每个token都需要加载整个模型权重，导致显存带宽成为瓶颈，而非计算能力。
在高并发（64个请求）场景下，同尺寸自回归模型的速度反超NCM。
在单请求场景下，NCM在翻译任务上比同尺寸自回归模型快4倍，在新闻摘要任务上快近2倍。
实时交互式世界模型通常需要采用自回归或扩散模型的流式推理方案，并配合状态压缩（如将历史帧编码为紧凑潜在表示）来降低计算负担。
还有 39 条时间轴事件
全部知识事实 (20)
KV Cache占用的显存随序列长度线性增长
90%已验证音频是时序信号，音乐生成模型需要保持长时间跨度上的连贯性，将其集成进以图像/视频为主的工作流引擎需要在采样调度、内存管理和输出格式上做专门适配
80%已验证vLLM 此前主要服务于自回归类的大语言模型
75%已验证扩散模型的去噪过程通常需要执行数十到数百次迭代（称为采样步数），每次迭代都需要完整运行一次神经网络的前向传播
75%已验证一致性模型和流匹配等加速方案正在缩短扩散模型多步推理的计算开销差距
75%已验证大模型幻觉的技术根源在于自回归生成机制，模型仅依据上文预测统计上最可能的下一个词，研究者将幻觉分为内在幻觉和外在幻觉
75%待验证分类模型的推理时间几乎与类别数量无关，而自回归生成式模型的延迟与输出长度成正比
60%待验证自回归模型逐 token 生成，每一步都以前面已生成的内容为条件。
50%待验证在新闻摘要任务上，NCM质量得分优于扩散模型；在结构化推理任务上NCM大幅胜出；而在德英翻译任务上逐词自回归模型质量更优。
50%待验证在德英翻译任务中，一个逐词生成的自回归模型作为对照，其质量分比NCM高2.6分，NCM通过最小贝叶斯风险解码追平但消耗约一倍算力。
50%待验证主流大语言模型（如 GPT、Llama 系列）采用自回归方式逐个 token 预测下一个词，生成过程是串行的。
50%待验证扩散模型（如Diffusion Gemma）一次并行处理256个token的块，而自回归模型逐个预测token。
50%待验证穿模的根源在于扩散或自回归生成模型优化像素/帧级别似然，而非显式刚体约束，长时间滚动后误差会累积放大。
50%待验证在高并发（64个请求）场景下，同尺寸自回归模型的速度反超NCM。
50%待验证自回归模型生成每个token都需要加载整个模型权重，导致显存带宽成为瓶颈，而非计算能力。
50%待验证在单请求场景下，NCM在翻译任务上比同尺寸自回归模型快4倍，在新闻摘要任务上快近2倍。
50%待验证实时交互式世界模型通常需要采用自回归或扩散模型的流式推理方案，并配合状态压缩（如将历史帧编码为紧凑潜在表示）来降低计算负担。
50%待验证AI音乐生成模型通常先用文本编码器理解提示词，再通过扩散模型或自回归模型在音频潜空间中逐步去噪或逐段预测，最终由声码器还原为波形。
50%待验证自回归模型每次前向传播只能确定一个 token，推理无法在时间维度上并行，延迟随输出长度线性增长。
50%待验证纵向EHR数据的特点是事件在时间上成簇出现、彼此高度关联，AR模型的严格顺序生成假设与这一特性并不完全契合。
50%