束搜索
自然语言生成领域的经典解码算法,起源于语音识别和机器翻译,在每一步保留得分最高的K条候选序列,通过有限的并行探索平衡搜索质量与计算成本,可用于测试时扩展
时间轴 (近 90 天)
贪心搜索每一步直接选概率最高的词,容易陷入局部最优;束搜索同时保留若干条候选序列,常用于机器翻译等对准确性要求高的任务,但在开放式对话中显得呆板。聊天类应用多采用带温度与Top-p的采样,而摘要、翻译等任务更常用束搜索。
在并行采样、束搜索等解码算法中,一个prompt会生成多个输出,每个结果都需要存储完整序列,导致prompt被重复存储多次。
搜索树方法(如 MCTS、束搜索)依赖对游戏规则的精确模拟,优势是可解释、无需训练数据,但每一步需展开大量分支,实时性压力大。
大语言模型生成文本时每个词从概率分布中采样,高概率词与低概率词之间存在大量等效替代,为水印注入提供了空间
即便采用束搜索解码进行缓解,剪枝带来的群体时间税差距依然保留了+86%的增长
束搜索同时维护k条候选路径,能找到全局更优的序列,但计算开销随beam width线性增长
该项目在解码策略上放弃束搜索,采用最小贝叶斯风险解码(MBR)与决策论解码
束搜索追求生成概率最高的候选序列,而MBR解码选择期望翻译误差最小的候选
全部知识事实 (8)
贪心搜索每一步直接选概率最高的词,容易陷入局部最优;束搜索同时保留若干条候选序列,常用于机器翻译等对准确性要求高的任务,但在开放式对话中显得呆板。聊天类应用多采用带温度与Top-p的采样,而摘要、翻译等任务更常用束搜索。
50%待验证在并行采样、束搜索等解码算法中,一个prompt会生成多个输出,每个结果都需要存储完整序列,导致prompt被重复存储多次。
50%待验证搜索树方法(如 MCTS、束搜索)依赖对游戏规则的精确模拟,优势是可解释、无需训练数据,但每一步需展开大量分支,实时性压力大。
50%待验证大语言模型生成文本时每个词从概率分布中采样,高概率词与低概率词之间存在大量等效替代,为水印注入提供了空间
50%待验证即便采用束搜索解码进行缓解,剪枝带来的群体时间税差距依然保留了+86%的增长
50%待验证束搜索同时维护k条候选路径,能找到全局更优的序列,但计算开销随beam width线性增长
50%待验证该项目在解码策略上放弃束搜索,采用最小贝叶斯风险解码(MBR)与决策论解码
50%待验证束搜索追求生成概率最高的候选序列,而MBR解码选择期望翻译误差最小的候选
50%