Decoder
The Verge旗下的科技播客节目，主要探讨科技行业的商业决策、权力结构和行业趋势等深度话题
时间轴 (近 90 天)
消息最初由产品观察者Typer在10月29日发现共享额度的预告，Decoder的报道补充了试用套餐、Instant模型例外及余额查看方式等细节。
Decoder 路线中上下文可以前置并缓存，因果掩码下上下文只需 prefill 一次拿到 KV cache，后续每个问题直接复用，只计算新增的问题 token。
在教程的解码器路线中，无需任何微调，第一个问题“客户是否要求退款”给出 95% 置信度，第二个问题“哪个团队负责”给出 97% 归属 billing。
在 Decoder 实践中，如果两个选项首 token 相同（如 fraud 和 fraud review），简单实现会直接失效，模型只能给出 50/50；作者的处理是检测到重复首 token 就抛错，提示用户改写选项。
解码器在编码器基础上增加了掩码自注意力和交叉注意力两个机制，掩码自注意力保证生成时只能看到已产生的词，交叉注意力让解码器能查询编码器的输出
该Decoder节目是其商业未来系列的第一集
Jonathan Kanter在最新一期Decoder播客中就AI是否需要反垄断豁免展开对话
单个Decoder层的计算流程为：输入向量经Self-Attention和Add & Norm，再经FFN和Add & Norm，输出向量
当前这一轮科技反噬与以往不同，从针对单个公司的局部批评转变为对整个科技行业运作模式的系统性质疑（合法性危机）
全部知识事实 (7)
消息最初由产品观察者Typer在10月29日发现共享额度的预告，Decoder的报道补充了试用套餐、Instant模型例外及余额查看方式等细节。
50%待验证Decoder 路线中上下文可以前置并缓存，因果掩码下上下文只需 prefill 一次拿到 KV cache，后续每个问题直接复用，只计算新增的问题 token。
50%待验证在 Decoder 实践中，如果两个选项首 token 相同（如 fraud 和 fraud review），简单实现会直接失效，模型只能给出 50/50；作者的处理是检测到重复首 token 就抛错，提示用户改写选项。
50%待验证在教程的解码器路线中，无需任何微调，第一个问题“客户是否要求退款”给出 95% 置信度，第二个问题“哪个团队负责”给出 97% 归属 billing。
50%待验证解码器在编码器基础上增加了掩码自注意力和交叉注意力两个机制，掩码自注意力保证生成时只能看到已产生的词，交叉注意力让解码器能查询编码器的输出
50%待验证单个Decoder层的计算流程为：输入向量经Self-Attention和Add & Norm，再经FFN和Add & Norm，输出向量
50%待验证当前这一轮科技反噬与以往不同，从针对单个公司的局部批评转变为对整个科技行业运作模式的系统性质疑（合法性危机）
50%