MathCanvas: Внутренняя визуальная цепочка рассуждений для мультимодального математического анализа

MathCanvas: Intrinsic Visual Chain-of-Thought for Multimodal Mathematical Reasoning

October 16, 2025

Авторы: Weikang Shi, Aldrich Yu, Rongyao Fang, Houxing Ren, Ke Wang, Aojun Zhou, Changyao Tian, Xinyu Fu, Yuxuan Hu, Zimu Lu, Linjiang Huang, Si Liu, Rui Liu, Hongsheng Li

cs.AI

Аннотация

Хотя крупные языковые модели (LLM) преуспели в текстовых рассуждениях, они испытывают трудности в математических областях, таких как геометрия, которые по своей природе требуют визуальных вспомогательных средств. Существующие подходы к визуальной цепочке рассуждений (VCoT) часто ограничены жесткими внешними инструментами или не способны генерировать высококачественные, стратегически своевременные диаграммы, необходимые для решения сложных задач. Чтобы устранить этот пробел, мы представляем MathCanvas — комплексную структуру, предназначенную для наделения унифицированных крупных мультимодальных моделей (LMM) внутренними возможностями VCoT для математики. Наш подход состоит из двух этапов. Сначала этап визуального манипулирования предварительно обучает модель на новом корпусе из 15,2 млн пар, включающем 10 млн пар "описание-диаграмма" (MathCanvas-Imagen) и 5,2 млн пошаговых траекторий редактирования (MathCanvas-Edit), чтобы освоить генерацию и редактирование диаграмм. Затем этап стратегического визуально-подкрепленного рассуждения дообучает модель на MathCanvas-Instruct — новом наборе данных из 219 тыс. примеров с чередующимися визуально-текстовыми путями рассуждений, обучая модель тому, когда и как использовать визуальные вспомогательные средства. Для обеспечения строгой оценки мы представляем MathCanvas-Bench — сложный эталонный тест с 3 тыс. задач, требующих от моделей создания чередующихся визуально-текстовых решений. Наша модель BAGEL-Canvas, обученная в рамках этой структуры, демонстрирует 86% относительное улучшение по сравнению с сильными базовыми LMM на MathCanvas-Bench, показывая отличную обобщаемость на другие публичные математические тесты. Наша работа предоставляет полный набор инструментов — структуру, наборы данных и эталонный тест — для раскрытия сложного, человеко-подобного визуально-подкрепленного рассуждения в LMM. Страница проекта: https://mathcanvas.github.io/

English

While Large Language Models (LLMs) have excelled in textual reasoning, they struggle with mathematical domains like geometry that intrinsically rely on visual aids. Existing approaches to Visual Chain-of-Thought (VCoT) are often limited by rigid external tools or fail to generate the high-fidelity, strategically-timed diagrams necessary for complex problem-solving. To bridge this gap, we introduce MathCanvas, a comprehensive framework designed to endow unified Large Multimodal Models (LMMs) with intrinsic VCoT capabilities for mathematics. Our approach consists of two phases. First, a Visual Manipulation stage pre-trains the model on a novel 15.2M-pair corpus, comprising 10M caption-to-diagram pairs (MathCanvas-Imagen) and 5.2M step-by-step editing trajectories (MathCanvas-Edit), to master diagram generation and editing. Second, a Strategic Visual-Aided Reasoning stage fine-tunes the model on MathCanvas-Instruct, a new 219K-example dataset of interleaved visual-textual reasoning paths, teaching it when and how to leverage visual aids. To facilitate rigorous evaluation, we introduce MathCanvas-Bench, a challenging benchmark with 3K problems that require models to produce interleaved visual-textual solutions. Our model, BAGEL-Canvas, trained under this framework, achieves an 86% relative improvement over strong LMM baselines on MathCanvas-Bench, demonstrating excellent generalization to other public math benchmarks. Our work provides a complete toolkit-framework, datasets, and benchmark-to unlock complex, human-like visual-aided reasoning in LMMs. Project Page: https://mathcanvas.github.io/