AICG
一种面向数学简答题自动评分的双分支多任务框架,结合认知诊断监督与生成式AI检测,在评分同时估计技能掌握度和学习增益。
时间轴 (近 90 天)
AICG(AI-aware Cognitive-supervised Grading)框架采用双分支多任务架构,将认知监督与AI检测融入评分流程。
AICG的第一个分支基于RoBERTa,同时集成回归、序数回归和分类头,用于单个答案的评分。
AICG的第二个分支利用专家设计的Q矩阵将答案与所考察的技能关联,并联合预测基于G-DINA模型推导的技能掌握度和学习增益。
AICG引入一个Gen-AI检测器,通过监督对比预训练和线性分类估计辅助概率,并将其转换为可靠性权重。
AICG在涵盖19个学期、49,402条教师评分响应的数据集上,相对于RoBERTa回归将平均绝对误差(MAE)降低了50.3%,二次加权Kappa(QWK)从0.798提升至0.927。
消融实验表明,Q矩阵引导的认知监督是AICG性能提升的主要来源。
AI感知加权在未加权认知模型的基础上进一步将总体MAE降低了4.2%,并在最近四个后Gen-AI学期中持续改善MAE和QWK。
全部知识事实 (7)
AICG(AI-aware Cognitive-supervised Grading)框架采用双分支多任务架构,将认知监督与AI检测融入评分流程。
50%待验证AICG的第一个分支基于RoBERTa,同时集成回归、序数回归和分类头,用于单个答案的评分。
50%待验证AICG的第二个分支利用专家设计的Q矩阵将答案与所考察的技能关联,并联合预测基于G-DINA模型推导的技能掌握度和学习增益。
50%待验证AICG引入一个Gen-AI检测器,通过监督对比预训练和线性分类估计辅助概率,并将其转换为可靠性权重。
50%待验证AICG在涵盖19个学期、49,402条教师评分响应的数据集上,相对于RoBERTa回归将平均绝对误差(MAE)降低了50.3%,二次加权Kappa(QWK)从0.798提升至0.927。
50%待验证消融实验表明,Q矩阵引导的认知监督是AICG性能提升的主要来源。
50%待验证AI感知加权在未加权认知模型的基础上进一步将总体MAE降低了4.2%,并在最近四个后Gen-AI学期中持续改善MAE和QWK。
50%