基准
HomeBench
面向智能家居指令理解的评测基准,考察模型对家庭环境描述与用户指令的匹配能力,可扩展用于语言多样性、鲁棒性和多轮记忆等维度
时间轴 (近 90 天)
11月3日
Trail团队在HomeBench基础上扩展出三个数据集:Trek-Base(测试语言多样性)、Trek-Robust(评估环境变化鲁棒性)、Trek-Memory(评估多轮对话记忆能力)。
待验证50%
面向智能家居指令理解的评测基准,考察模型对家庭环境描述与用户指令的匹配能力,可扩展用于语言多样性、鲁棒性和多轮记忆等维度
Trail团队在HomeBench基础上扩展出三个数据集:Trek-Base(测试语言多样性)、Trek-Robust(评估环境变化鲁棒性)、Trek-Memory(评估多轮对话记忆能力)。