MathSE: Улучшение мультимодального математического мышления с помощью саморазвивающейся итеративной рефлексии и тонкой настройки с управлением вознаграждением

MathSE: Improving Multimodal Mathematical Reasoning via Self-Evolving Iterative Reflection and Reward-Guided Fine-Tuning

November 10, 2025

Авторы: Jinhao Chen, Zhen Yang, Jianxin Shi, Tianyu Wo, Jie Tang

cs.AI

Аннотация

Мультимодальные большие языковые модели (MБЯМ) продемонстрировали впечатляющие способности в задачах ответов на вопросы на основе визуальной и языковой информации. Несмотря на свои сильные стороны, эти модели часто сталкиваются с трудностями при решении сложных задач, требующих рассуждений, таких как решение математических задач. Предыдущие работы были сосредоточены на дообучении на специализированных математических наборах данных. Однако эти наборы данных, как правило, напрямую дистиллируются из моделей-учителей, которые захватывают лишь статические паттерны рассуждений, что создает существенный разрыв по сравнению с моделями-учениками. Эта зависимость от фиксированных данных, полученных от учителя, не только ограничивает способность модели адаптироваться к новым или более сложным вопросам, выходящим за рамки обучающих данных, но и лишена итерационной глубины, необходимой для надежного обобщения. Чтобы преодолеть эти ограничения, мы предлагаем \method, фреймворк математического саморазвития для МБЯМ. В отличие от традиционных парадигм одноэтапного дообучения, \method итеративно улучшает модель с помощью циклов вывода, рефлексии и обратной связи на основе вознаграждения. В частности, мы используем итеративное дообучение, включая корректные пути рассуждений, полученные из вывода на предыдущем этапе, и интегрируя рефлексию от специализированной модели вознаграждения по результату (Outcome Reward Model, ORM). Для проверки эффективности \method мы оцениваем его на наборе сложных бенчмарков, демонстрируя значительное улучшение производительности по сравнению с базовыми моделями. Примечательно, что наши экспериментальные результаты на MathVL-test превосходят результаты ведущей открытой мультимодальной модели математических рассуждений QVQ. Наш код и модели доступны по адресу https://zheny2751\allowbreak-dotcom.github.io/\allowbreak MathSE.github.io/.

English

Multimodal large language models (MLLMs) have demonstrated remarkable capabilities in vision-language answering tasks. Despite their strengths, these models often encounter challenges in achieving complex reasoning tasks such as mathematical problem-solving. Previous works have focused on fine-tuning on specialized mathematical datasets. However, these datasets are typically distilled directly from teacher models, which capture only static reasoning patterns and leaving substantial gaps compared to student models. This reliance on fixed teacher-derived datasets not only restricts the model's ability to adapt to novel or more intricate questions that extend beyond the confines of the training data, but also lacks the iterative depth needed for robust generalization. To overcome these limitations, we propose \method, a Mathematical Self-Evolving framework for MLLMs. In contrast to traditional one-shot fine-tuning paradigms, \method iteratively refines the model through cycles of inference, reflection, and reward-based feedback. Specifically, we leverage iterative fine-tuning by incorporating correct reasoning paths derived from previous-stage inference and integrating reflections from a specialized Outcome Reward Model (ORM). To verify the effectiveness of \method, we evaluate it on a suite of challenging benchmarks, demonstrating significant performance gains over backbone models. Notably, our experimental results on MathVL-test surpass the leading open-source multimodal mathematical reasoning model QVQ. Our code and models are available at https://zheny2751\allowbreak-dotcom.github.io/\allowbreak MathSE.github.io/.