[控场AI]
模型AI-aware Cognitive-supervised Grading

AICG

一种面向数学简答题自动评分的双分支多任务框架,结合认知诊断监督与生成式AI检测,在评分同时估计技能掌握度和学习增益。

时间轴 (近 90 天)

11月2日

AICG(AI-aware Cognitive-supervised Grading)框架采用双分支多任务架构,将认知监督与AI检测融入评分流程。

待验证50%
11月2日

AICG的第一个分支基于RoBERTa,同时集成回归、序数回归和分类头,用于单个答案的评分。

待验证50%
11月2日

AICG的第二个分支利用专家设计的Q矩阵将答案与所考察的技能关联,并联合预测基于G-DINA模型推导的技能掌握度和学习增益。

待验证50%
11月2日

AICG引入一个Gen-AI检测器,通过监督对比预训练和线性分类估计辅助概率,并将其转换为可靠性权重。

待验证50%
11月2日

AICG在涵盖19个学期、49,402条教师评分响应的数据集上,相对于RoBERTa回归将平均绝对误差(MAE)降低了50.3%,二次加权Kappa(QWK)从0.798提升至0.927。

待验证50%
11月2日

消融实验表明,Q矩阵引导的认知监督是AICG性能提升的主要来源。

待验证50%
11月2日

AI感知加权在未加权认知模型的基础上进一步将总体MAE降低了4.2%,并在最近四个后Gen-AI学期中持续改善MAE和QWK。

待验证50%

全部知识事实 (7)

来源文章