概念Inference Configuration
推理配置
推理配置指模型在生成输出时调用的计算资源与策略组合，包括推理步数、采样参数、是否启用并行推理等，直接影响输出质量与延迟。
时间轴 (近 90 天)
10月19日
推理配置涵盖批处理大小、最大序列长度、量化方式和自动扩缩容策略。
待验证50%
8月26日
复现官方基准分数时，温度从0.0调到0.6可能导致基准分数波动5-15个百分点
待验证50%
推理配置指模型在生成输出时调用的计算资源与策略组合，包括推理步数、采样参数、是否启用并行推理等，直接影响输出质量与延迟。
推理配置涵盖批处理大小、最大序列长度、量化方式和自动扩缩容策略。
复现官方基准分数时，温度从0.0调到0.6可能导致基准分数波动5-15个百分点