Können MLLMs die Gedanken von Schüler*innen lesen? Eine Entschlüsselung multimodaler Fehleranalysen in handschriftlichen Mathematikaufgaben.
Can MLLMs Read Students' Minds? Unpacking Multimodal Error Analysis in Handwritten Math
March 26, 2026
Autoren: Dingjie Song, Tianlong Xu, Yi-Fan Zhang, Hang Li, Zhiling Yan, Xing Fan, Haoyang Li, Lichao Sun, Qingsong Wen
cs.AI
Zusammenfassung
Die Bewertung handschriftlicher Schülerkonzepte ist entscheidend für personalisiertes pädagogisches Feedback, stellt jedoch aufgrund unterschiedlicher Handschriften, komplexer Layouts und vielfältiger Problemlösungsansätze besondere Herausforderungen dar. Bestehende pädagogische NLP-Methoden konzentrieren sich primär auf Textantworten und vernachlässigen die Komplexität und Multimodalität authentischer handschriftlicher Notizen. Aktuelle multimodale große Sprachmodelle (MLLMs) zeichnen sich zwar durch visuelle Reasoning-Fähigkeiten aus, übernehmen jedoch typischerweise eine "Prüflingsperspektive", die korrekte Antwortgenerierung priorisiert anstatt Schülerfehler zu diagnostizieren. Um diese Lücken zu schließen, stellen wir ScratchMath vor, einen neuartigen Benchmark zur Erklärung und Klassifizierung von Fehlern in authentischen handschriftlichen Mathematiknotizen. Unser Datensatz umfasst 1.720 Mathematikproben von chinesischen Grund- und Mittelschülern mit zwei Hauptaufgaben: Erklärung von Fehlerursachen (ECE) und Klassifikation von Fehlerursachen (ECC) mit sieben definierten Fehlertypen. Der Datensatz wurde durch rigorose menschlich-maschinelle Kollaboration mit mehreren Stufen von Expertenlabeling, Überprüfung und Validierung akribisch annotiert. Wir evaluieren systematisch 16 führende MLLMs auf ScratchMath, was signifikante Leistungsdefizite im Vergleich zu menschlichen Experten aufdeckt, insbesondere in visueller Erkennung und logischem Reasoning. Proprietäre Modelle übertreffen Open-Source-Modelle deutlich, wobei große Reasoning-Modelle besonderes Potenzial für Fehlererklärungen zeigen. Alle Evaluierungsdaten und -frameworks sind öffentlich verfügbar, um weitere Forschung zu ermöglichen.
English
Assessing student handwritten scratchwork is crucial for personalized educational feedback but presents unique challenges due to diverse handwriting, complex layouts, and varied problem-solving approaches. Existing educational NLP primarily focuses on textual responses and neglects the complexity and multimodality inherent in authentic handwritten scratchwork. Current multimodal large language models (MLLMs) excel at visual reasoning but typically adopt an "examinee perspective", prioritizing generating correct answers rather than diagnosing student errors. To bridge these gaps, we introduce ScratchMath, a novel benchmark specifically designed for explaining and classifying errors in authentic handwritten mathematics scratchwork. Our dataset comprises 1,720 mathematics samples from Chinese primary and middle school students, supporting two key tasks: Error Cause Explanation (ECE) and Error Cause Classification (ECC), with seven defined error types. The dataset is meticulously annotated through rigorous human-machine collaborative approaches involving multiple stages of expert labeling, review, and verification. We systematically evaluate 16 leading MLLMs on ScratchMath, revealing significant performance gaps relative to human experts, especially in visual recognition and logical reasoning. Proprietary models notably outperform open-source models, with large reasoning models showing strong potential for error explanation. All evaluation data and frameworks are publicly available to facilitate further research.