Android Bench
Google 推出的针对 Android 开发任务的基准测试，用于评估模型在 Android 代码生成与工程任务上的能力
时间轴 (近 90 天)
在Android Bench测试中，使用Ollama默认的32K上下文导致智能体框架压缩机制将文件移出内存，任务失败；将上下文提升到256K后，该任务成功率翻倍。
行业上下文窗口大小基本停在 100 万 token 这一量级，模型能力仍在上升；Android Bench 曲线显示 context window 已趋平而模型能力持续攀升。
在 Android Bench 上，某模型仅用「migrate nav2 to nav3」这类自然提示时通过率为 22%；预先提供一套会失败的测试套件后，整体基准通过率跃升至 90%。
Google选择将Android Bench向社区开放，以捕捉尽可能多的独特视角
Google专门设立了全新的代码仓库供社区贡献者参与Android Bench
Google官方推出了Android Bench基准测试项目，用于衡量AI模型在安卓开发领域的能力
开发者可以在自己偏好的模型上运行Android Bench评测并分享结果
当模型能力逼近或超越传统测试集时，需依靠社区贡献更具挑战性的任务以保持评测的区分度
开发者可以将安卓开发中让AI力不从心的场景抽象成标准化测试任务，提交到Android Bench仓库
Android Bench的核心理念是持续扩展，不断纳入能够触及当前模型能力边界的复杂任务
还有 1 条时间轴事件
全部知识事实 (11)
在Android Bench测试中，使用Ollama默认的32K上下文导致智能体框架压缩机制将文件移出内存，任务失败；将上下文提升到256K后，该任务成功率翻倍。
50%待验证行业上下文窗口大小基本停在 100 万 token 这一量级，模型能力仍在上升；Android Bench 曲线显示 context window 已趋平而模型能力持续攀升。
50%待验证在 Android Bench 上，某模型仅用「migrate nav2 to nav3」这类自然提示时通过率为 22%；预先提供一套会失败的测试套件后，整体基准通过率跃升至 90%。
50%待验证Google选择将Android Bench向社区开放，以捕捉尽可能多的独特视角
50%待验证Google专门设立了全新的代码仓库供社区贡献者参与Android Bench
50%待验证开发者可以在自己偏好的模型上运行Android Bench评测并分享结果
50%待验证当模型能力逼近或超越传统测试集时，需依靠社区贡献更具挑战性的任务以保持评测的区分度
50%待验证开发者可以将安卓开发中让AI力不从心的场景抽象成标准化测试任务，提交到Android Bench仓库
50%待验证Android Bench的核心理念是持续扩展，不断纳入能够触及当前模型能力边界的复杂任务
50%待验证Android Bench是一个动态演进的测评体系，而非一次性的评测工具
50%待验证Google官方推出了Android Bench基准测试项目，用于衡量AI模型在安卓开发领域的能力
50%