CompressionBench
评估编码智能体能否自主完成LLM压缩任务的基准，将压缩形式化为终端任务，要求智能体在存储预算内交付可运行的压缩模型和推理代码
时间轴 (近 90 天)
CompressionBench是一个基准，旨在研究编码智能体能否自主完成LLM压缩任务。
CompressionBench将压缩形式化为终端任务：智能体接收源检查点、存储限制、推理环境和时间预算，构建压缩权重和可执行推理代码，并自主控制算法与实验，由困惑度反馈引导搜索，最终模型通过独立验证。
在压缩基准中，BF16通常作为未压缩的基线模型，用于对比压缩后的性能损失。
在六个智能体和六种模型-尺寸设置下，36份提交中有29份通过了独立验证。
为每个任务选择困惑度最低的智能体设计，平均困惑度比BF16增加3.4%，下游准确率为77.33%，而BF16为79.56%。
在接近固定存储的情况下，智能体在24次修订中有21次降低了困惑度，说明它们能够利用反馈信号进行有效搜索。
完整模型反馈逆转了79个先前局部排名中的17个，表明仅靠局部指标判断可能产生误导，全局验证对于正确评估压缩方案至关重要。
生成和推理测试暴露了仅靠似然度无法捕捉的失败模式，提示评估压缩模型不能只看困惑度。
研究将表示设计、实验判断和能力验证识别为智能体驱动模型压缩的核心要素。
全部知识事实 (9)
CompressionBench是一个基准，旨在研究编码智能体能否自主完成LLM压缩任务。
50%待验证CompressionBench将压缩形式化为终端任务：智能体接收源检查点、存储限制、推理环境和时间预算，构建压缩权重和可执行推理代码，并自主控制算法与实验，由困惑度反馈引导搜索，最终模型通过独立验证。
50%待验证在压缩基准中，BF16通常作为未压缩的基线模型，用于对比压缩后的性能损失。
50%待验证在六个智能体和六种模型-尺寸设置下，36份提交中有29份通过了独立验证。
50%待验证为每个任务选择困惑度最低的智能体设计，平均困惑度比BF16增加3.4%，下游准确率为77.33%，而BF16为79.56%。
50%待验证在接近固定存储的情况下，智能体在24次修订中有21次降低了困惑度，说明它们能够利用反馈信号进行有效搜索。
50%待验证完整模型反馈逆转了79个先前局部排名中的17个，表明仅靠局部指标判断可能产生误导，全局验证对于正确评估压缩方案至关重要。
50%待验证生成和推理测试暴露了仅靠似然度无法捕捉的失败模式，提示评估压缩模型不能只看困惑度。
50%待验证研究将表示设计、实验判断和能力验证识别为智能体驱动模型压缩的核心要素。
50%