Les MLLM peuvent-ils lire dans l'esprit des élèves ? Décryptage de l'analyse multimodale des erreurs en mathématiques manuscrites
Can MLLMs Read Students' Minds? Unpacking Multimodal Error Analysis in Handwritten Math
March 26, 2026
Auteurs: Dingjie Song, Tianlong Xu, Yi-Fan Zhang, Hang Li, Zhiling Yan, Xing Fan, Haoyang Li, Lichao Sun, Qingsong Wen
cs.AI
Résumé
L'évaluation des brouillons manuscrits des élèves est cruciale pour un retour pédagogique personnalisé, mais elle présente des défis uniques en raison de la diversité des écritures, des mises en page complexes et des approches de résolution de problèmes variées. Les travaux existants en TAL éducatif se concentrent principalement sur les réponses textuelles et négligent la complexité et la multimodalité inhérentes aux brouillons manuscrits authentiques. Les modèles de langage multimodaux (MLLM) actuels excellent en raisonnement visuel mais adoptent généralement une "perspective de candidat", privilégiant la génération de réponses correctes plutôt que le diagnostic des erreurs des élèves. Pour combler ces lacunes, nous présentons ScratchMath, un nouveau benchmark spécifiquement conçu pour expliquer et classer les erreurs dans les brouillons mathématiques manuscrits authentiques. Notre jeu de données comprend 1 720 échantillons mathématiques d'élèves chinois du primaire et du collège, supportant deux tâches clés : l'Explication de la Cause de l'Erreur (ECE) et la Classification de la Cause de l'Erreur (ECC), avec sept types d'erreurs définis. Le jeu de données est méticuleusement annoté via des approches rigoureuses de collaboration humain-machine impliquant plusieurs étapes d'étiquetage, de relecture et de vérification par des experts. Nous évaluons systématiquement 16 MLLM leaders sur ScratchMath, révélant des écarts de performance significatifs par rapport aux experts humains, particulièrement en reconnaissance visuelle et en raisonnement logique. Les modèles propriétaires surpassent notablement les modèles open-source, les grands modèles de raisonnement montrant un fort potentiel pour l'explication des erreurs. Toutes les données et infrastructures d'évaluation sont publiquement disponibles pour faciliter les recherches futures.
English
Assessing student handwritten scratchwork is crucial for personalized educational feedback but presents unique challenges due to diverse handwriting, complex layouts, and varied problem-solving approaches. Existing educational NLP primarily focuses on textual responses and neglects the complexity and multimodality inherent in authentic handwritten scratchwork. Current multimodal large language models (MLLMs) excel at visual reasoning but typically adopt an "examinee perspective", prioritizing generating correct answers rather than diagnosing student errors. To bridge these gaps, we introduce ScratchMath, a novel benchmark specifically designed for explaining and classifying errors in authentic handwritten mathematics scratchwork. Our dataset comprises 1,720 mathematics samples from Chinese primary and middle school students, supporting two key tasks: Error Cause Explanation (ECE) and Error Cause Classification (ECC), with seven defined error types. The dataset is meticulously annotated through rigorous human-machine collaborative approaches involving multiple stages of expert labeling, review, and verification. We systematically evaluate 16 leading MLLMs on ScratchMath, revealing significant performance gaps relative to human experts, especially in visual recognition and logical reasoning. Proprietary models notably outperform open-source models, with large reasoning models showing strong potential for error explanation. All evaluation data and frameworks are publicly available to facilitate further research.