¿Pueden los MLLM Leer la Mente de los Estudiantes? Desglosando el Análisis de Errores Multimodales en Matemáticas Escritas a Mano

Can MLLMs Read Students' Minds? Unpacking Multimodal Error Analysis in Handwritten Math

March 26, 2026

Autores: Dingjie Song, Tianlong Xu, Yi-Fan Zhang, Hang Li, Zhiling Yan, Xing Fan, Haoyang Li, Lichao Sun, Qingsong Wen

cs.AI

Resumen

La evaluación de los borradores manuscritos de los estudiantes es crucial para ofrecer retroalimentación educativa personalizada, pero presenta desafíos únicos debido a la diversidad de caligrafías, los diseños complejos y los variados enfoques de resolución de problemas. La PLN educativa existente se centra principalmente en respuestas textuales y descuida la complejidad y multimodalidad inherentes a los borradores manuscritos auténticos. Los modelos de lenguaje multimodal (MLLM) actuales sobresalen en razonamiento visual, pero suelen adoptar una "perspectiva del examinado", priorizando la generación de respuestas correctas en lugar de diagnosticar errores estudiantiles. Para cerrar estas brechas, presentamos ScratchMath, un nuevo benchmark diseñado específicamente para explicar y clasificar errores en borradores matemáticos manuscritos auténticos. Nuestro conjunto de datos comprende 1.720 muestras matemáticas de estudiantes chinos de primaria y secundaria, soportando dos tareas clave: Explicación de la Causa del Error (ECE) y Clasificación de la Causa del Error (ECC), con siete tipos de error definidos. El conjunto de datos está meticulosamente anotado mediante rigurosos enfoques colaborativos humano-máquina que involucran múltiples etapas de etiquetado, revisión y verificación por expertos. Evaluamos sistemáticamente 16 MLLM líderes en ScratchMath, revelando brechas significativas de rendimiento en comparación con expertos humanos, especialmente en reconocimiento visual y razonamiento lógico. Los modelos propietarios superan notablemente a los modelos de código abierto, mostrando los modelos de razonamiento de gran escala un fuerte potencial para la explicación de errores. Todos los datos y marcos de evaluación están disponibles públicamente para facilitar futuras investigaciones.

English

Assessing student handwritten scratchwork is crucial for personalized educational feedback but presents unique challenges due to diverse handwriting, complex layouts, and varied problem-solving approaches. Existing educational NLP primarily focuses on textual responses and neglects the complexity and multimodality inherent in authentic handwritten scratchwork. Current multimodal large language models (MLLMs) excel at visual reasoning but typically adopt an "examinee perspective", prioritizing generating correct answers rather than diagnosing student errors. To bridge these gaps, we introduce ScratchMath, a novel benchmark specifically designed for explaining and classifying errors in authentic handwritten mathematics scratchwork. Our dataset comprises 1,720 mathematics samples from Chinese primary and middle school students, supporting two key tasks: Error Cause Explanation (ECE) and Error Cause Classification (ECC), with seven defined error types. The dataset is meticulously annotated through rigorous human-machine collaborative approaches involving multiple stages of expert labeling, review, and verification. We systematically evaluate 16 leading MLLMs on ScratchMath, revealing significant performance gaps relative to human experts, especially in visual recognition and logical reasoning. Proprietary models notably outperform open-source models, with large reasoning models showing strong potential for error explanation. All evaluation data and frameworks are publicly available to facilitate further research.