可重复性

评估器具有三个独立属性：可重复性（同一条件下结果是否稳定）、呈现稳健性（结果是否不受无关呈现变化的影响）和人类对齐（评估结果是否与人类偏好一致），三者之间不存在蕴含关系。

细粒度操作意味着大量工程细节耦合其中，其他研究者很难复现包含复杂平台逻辑的实验，这与科学界对可重复性的要求相悖。

测试的可重复性——即用相同方法跑出相同结果——仍然是最具争议的问题之一。