[控场AI]
基准

Trek-Memory

基于 HomeBench 扩展的智能家居指令评测数据集,引入多轮对话历史并要求解析代词指代与省略,评估对话记忆能力

时间轴 (近 90 天)

11月3日

Trail团队在HomeBench基础上扩展出三个数据集:Trek-Base(测试语言多样性)、Trek-Robust(评估环境变化鲁棒性)、Trek-Memory(评估多轮对话记忆能力)。

待验证50%
11月3日

借助记忆模块,Trail能解决75.6%依赖前几轮对话的请求,而微调基线在给定对话历史时只有42.5%。

待验证50%

全部知识事实 (2)

来源文章