基准

Trek-Robust

基于 HomeBench 扩展的智能家居指令评测数据集，通过扰动房间名称、设备别名与环境描述评估模型对环境变化的鲁棒性

时间轴 (近 90 天)

11月3日

Trail团队在HomeBench基础上扩展出三个数据集：Trek-Base（测试语言多样性）、Trek-Robust（评估环境变化鲁棒性）、Trek-Memory（评估多轮对话记忆能力）。

待验证50%

11月3日

在Trek-Robust数据集上，Trail达到85.3%的准确率，微调后的Qwen3.5-4B基线为69.8%。

待验证50%

在Trek-Robust数据集上，Trail达到85.3%的准确率，微调后的Qwen3.5-4B基线为69.8%。

Trail团队在HomeBench基础上扩展出三个数据集：Trek-Base（测试语言多样性）、Trek-Robust（评估环境变化鲁棒性）、Trek-Memory（评估多轮对话记忆能力）。