Populace
一款开源的AI Agent评测框架，通过生成200个具有记忆和社交网络的AI居民模拟小镇，对接入的Agent进行多轮、跨时间的压力测试，揭露单轮对话评测无法发现的失败模式
时间轴 (近 90 天)
Populace 是一个开源项目，用一句话描述即可生成200个具有住所、工作、家庭、金钱和熟人网络的AI居民，作为测试其他Agent的模拟小镇环境
Populace 由一位18岁的开发者构建，是其首个开源项目，采用MIT开源协议，托管在GitHub（populace-sim/populace）
在Populace的对照实验中，一个能查看客户账户的LLM客服（Qwen3-32B）与一个仅关键词匹配的机器人在相同小镇、相同随机种子、相同问题下接受测试
实验中LLM客服在第一天解决了7个问题，关键词机器人只解决了4个问题
实验中LLM客服爽约了8个到期承诺中的6个，而关键词机器人在30个承诺中只爽约了2个
实验中LLM客服对六个不同的客户都声称工程师会在上午10点上门，而那些时段实际是给别人家预约的
Populace的底层架构借鉴了'生成式智能体'（Generative Agents）研究范式，该范式源自斯坦福2023年发表的论文《Generative Agents: Interactive Simulacra of Human Behavior》
Populace中居民需要约32B级别的模型才能表现可信，一个7B模型连一次客服都没联系过
在单张4090显卡上，Populace每个游戏内一天约需10分钟，系统还提供无需模型的免费mock模式
Populace报告会把居民的错误和Agent的错误分开统计，以区分用户噪声与Agent失误
还有 1 条时间轴事件
全部知识事实 (11)
接入Populace的Agent可以是任何带有handle(message, ctx)方法的Python对象或任何HTTP端点
50%待验证Populace 由一位18岁的开发者构建，是其首个开源项目，采用MIT开源协议，托管在GitHub（populace-sim/populace）
50%待验证Populace 是一个开源项目，用一句话描述即可生成200个具有住所、工作、家庭、金钱和熟人网络的AI居民，作为测试其他Agent的模拟小镇环境
50%待验证实验中LLM客服在第一天解决了7个问题，关键词机器人只解决了4个问题
50%待验证实验中LLM客服爽约了8个到期承诺中的6个，而关键词机器人在30个承诺中只爽约了2个
50%待验证实验中LLM客服对六个不同的客户都声称工程师会在上午10点上门，而那些时段实际是给别人家预约的
50%待验证Populace的底层架构借鉴了'生成式智能体'（Generative Agents）研究范式，该范式源自斯坦福2023年发表的论文《Generative Agents: Interactive Simulacra of Human Behavior》
50%待验证Populace中居民需要约32B级别的模型才能表现可信，一个7B模型连一次客服都没联系过
50%待验证在单张4090显卡上，Populace每个游戏内一天约需10分钟，系统还提供无需模型的免费mock模式
50%待验证Populace报告会把居民的错误和Agent的错误分开统计，以区分用户噪声与Agent失误
50%待验证在Populace的对照实验中，一个能查看客户账户的LLM客服（Qwen3-32B）与一个仅关键词匹配的机器人在相同小镇、相同随机种子、相同问题下接受测试
50%