Могут ли MLLM читать мысли студентов? Разбор многомодального анализа ошибок в рукописных математических работах

Can MLLMs Read Students' Minds? Unpacking Multimodal Error Analysis in Handwritten Math

March 26, 2026

Авторы: Dingjie Song, Tianlong Xu, Yi-Fan Zhang, Hang Li, Zhiling Yan, Xing Fan, Haoyang Li, Lichao Sun, Qingsong Wen

cs.AI

Аннотация

Оценка рукописных черновиков учащихся крайне важна для персонализированной обратной связи в образовании, но сопряжена с уникальными трудностями из-за разнообразия почерков, сложных структур записей и вариативных подходов к решению задач. Существующие образовательные NLP-системы в основном сосредоточены на текстовых ответах и игнорируют сложность и мультимодальность, присущие аутентичным рукописным черновикам. Современные мультимодальные большие языковые модели (MLLM) демонстрируют высокие результаты в визуальном анализе, но обычно используют «позицию экзаменуемого», уделяя приоритетное внимание генерации правильных ответов, а не диагностике ошибок учащихся. Для преодоления этих пробелов мы представляем ScratchMath — новый эталонный набор, специально разработанный для объяснения и классификации ошибок в аутентичных рукописных математических черновиках. Наш датасет включает 1 720 образцов по математике от китайских учащихся начальной и средней школы и поддерживает две ключевые задачи: объяснение причин ошибок (Error Cause Explanation, ECE) и классификацию причин ошибок (Error Cause Classification, ECC) с семью определенными типами ошибок. Датасет тщательно размечен с помощью строгого человеко-машинного collaborative подхода, включающего несколько этапов экспертной разметки, проверки и верификации. Мы систематически оценили 16 ведущих MLLM на платформе ScratchMath, выявив значительный разрыв в производительности по сравнению с экспертами-людьми, особенно в области визуального распознавания и логического мышления. Проприетарные модели заметно превзошли модели с открытым исходным кодом, при этом крупные reasoning-модели продемонстрировали высокий потенциал в объяснении ошибок. Все данные и рамки оценки находятся в открытом доступе для содействия дальнейшим исследованиям.

English

Assessing student handwritten scratchwork is crucial for personalized educational feedback but presents unique challenges due to diverse handwriting, complex layouts, and varied problem-solving approaches. Existing educational NLP primarily focuses on textual responses and neglects the complexity and multimodality inherent in authentic handwritten scratchwork. Current multimodal large language models (MLLMs) excel at visual reasoning but typically adopt an "examinee perspective", prioritizing generating correct answers rather than diagnosing student errors. To bridge these gaps, we introduce ScratchMath, a novel benchmark specifically designed for explaining and classifying errors in authentic handwritten mathematics scratchwork. Our dataset comprises 1,720 mathematics samples from Chinese primary and middle school students, supporting two key tasks: Error Cause Explanation (ECE) and Error Cause Classification (ECC), with seven defined error types. The dataset is meticulously annotated through rigorous human-machine collaborative approaches involving multiple stages of expert labeling, review, and verification. We systematically evaluate 16 leading MLLMs on ScratchMath, revealing significant performance gaps relative to human experts, especially in visual recognition and logical reasoning. Proprietary models notably outperform open-source models, with large reasoning models showing strong potential for error explanation. All evaluation data and frameworks are publicly available to facilitate further research.