论文AutoTuring框架
AutoTuring
一种用于评估AI智能体是否真正理解计算机架构的实验框架，通过固定智能体、变换问题表述（命名架构参数vs匿名变量）来区分真正理解与盲目搜索
时间轴 (近 90 天)
9月18日
AutoTuring框架的核心方法是固定智能体、变换问题的表述框架，以测量'理解的价值'
待验证50%
9月18日
AutoTuring将同一个15维加速器设计空间以两种模式呈现给同一智能体：架构师模式（有命名的架构旋钮并附带模拟器计数器）和盲测模式（伪装成[0,1]区间的匿名变量）
待验证50%
9月18日
在架构师模式和盲测模式下，评估器、合法空间和可达最优解完全相同，唯一变化的是问题对智能体是否有意义
待验证50%
9月18日
架构师模式比其盲测版本平均高出12.3%
待验证50%
9月18日
架构师模式相比盲测减少了70.1%的模拟器调用次数
待验证50%
9月18日
研究发现架构知识与结构化批判之间是替代关系而非互补关系
待验证50%
9月18日
研究者将结果标注为初步发现，每种条件只跑了五到六次且仅在单一建模加速器上验证
待验证50%
9月18日
研究者认为其真正的贡献不是加速器本身，而是这种对比方法
待验证50%
全部知识事实 (8)
待验证
AutoTuring框架的核心方法是固定智能体、变换问题的表述框架，以测量'理解的价值'
50%待验证AutoTuring将同一个15维加速器设计空间以两种模式呈现给同一智能体：架构师模式（有命名的架构旋钮并附带模拟器计数器）和盲测模式（伪装成[0,1]区间的匿名变量）
50%待验证在架构师模式和盲测模式下，评估器、合法空间和可达最优解完全相同，唯一变化的是问题对智能体是否有意义
50%待验证架构师模式比其盲测版本平均高出12.3%
50%待验证架构师模式相比盲测减少了70.1%的模拟器调用次数
50%待验证研究发现架构知识与结构化批判之间是替代关系而非互补关系
50%待验证研究者将结果标注为初步发现，每种条件只跑了五到六次且仅在单一建模加速器上验证
50%待验证研究者认为其真正的贡献不是加速器本身，而是这种对比方法
50%