MathCanvas: Cadeia de Pensamento Visual Intrínseca para Raciocínio Matemático Multimodal

MathCanvas: Intrinsic Visual Chain-of-Thought for Multimodal Mathematical Reasoning

October 16, 2025

Autores: Weikang Shi, Aldrich Yu, Rongyao Fang, Houxing Ren, Ke Wang, Aojun Zhou, Changyao Tian, Xinyu Fu, Yuxuan Hu, Zimu Lu, Linjiang Huang, Si Liu, Rui Liu, Hongsheng Li

cs.AI

Resumo

Embora os Modelos de Linguagem de Grande Escala (LLMs) tenham se destacado no raciocínio textual, eles enfrentam dificuldades em domínios matemáticos como a geometria, que dependem intrinsecamente de recursos visuais. As abordagens existentes para a Cadeia de Pensamento Visual (VCoT) são frequentemente limitadas por ferramentas externas rígidas ou falham em gerar diagramas de alta fidelidade e estrategicamente cronometrados, necessários para a resolução de problemas complexos. Para preencher essa lacuna, introduzimos o MathCanvas, um framework abrangente projetado para dotar Modelos Multimodais de Grande Escala (LMMs) unificados com capacidades intrínsecas de VCoT para matemática. Nossa abordagem consiste em duas fases. Primeiro, uma etapa de Manipulação Visual pré-treina o modelo em um novo corpus de 15,2 milhões de pares, composto por 10 milhões de pares de legenda-diagrama (MathCanvas-Imagen) e 5,2 milhões de trajetórias de edição passo a passo (MathCanvas-Edit), para dominar a geração e edição de diagramas. Segundo, uma etapa de Raciocínio Visual Estrategicamente Auxiliado ajusta o modelo no MathCanvas-Instruct, um novo conjunto de dados de 219 mil exemplos de caminhos de raciocínio visual-textual intercalados, ensinando-o quando e como utilizar recursos visuais. Para facilitar uma avaliação rigorosa, introduzimos o MathCanvas-Bench, um benchmark desafiador com 3 mil problemas que exigem que os modelos produzam soluções visual-textual intercaladas. Nosso modelo, BAGEL-Canvas, treinado sob esse framework, alcança uma melhoria relativa de 86% em relação a baselines fortes de LMMs no MathCanvas-Bench, demonstrando excelente generalização para outros benchmarks públicos de matemática. Nosso trabalho fornece um kit completo — framework, conjuntos de dados e benchmark — para desbloquear o raciocínio visual auxiliado complexo e semelhante ao humano em LMMs. Página do Projeto: https://mathcanvas.github.io/

English

While Large Language Models (LLMs) have excelled in textual reasoning, they struggle with mathematical domains like geometry that intrinsically rely on visual aids. Existing approaches to Visual Chain-of-Thought (VCoT) are often limited by rigid external tools or fail to generate the high-fidelity, strategically-timed diagrams necessary for complex problem-solving. To bridge this gap, we introduce MathCanvas, a comprehensive framework designed to endow unified Large Multimodal Models (LMMs) with intrinsic VCoT capabilities for mathematics. Our approach consists of two phases. First, a Visual Manipulation stage pre-trains the model on a novel 15.2M-pair corpus, comprising 10M caption-to-diagram pairs (MathCanvas-Imagen) and 5.2M step-by-step editing trajectories (MathCanvas-Edit), to master diagram generation and editing. Second, a Strategic Visual-Aided Reasoning stage fine-tunes the model on MathCanvas-Instruct, a new 219K-example dataset of interleaved visual-textual reasoning paths, teaching it when and how to leverage visual aids. To facilitate rigorous evaluation, we introduce MathCanvas-Bench, a challenging benchmark with 3K problems that require models to produce interleaved visual-textual solutions. Our model, BAGEL-Canvas, trained under this framework, achieves an 86% relative improvement over strong LMM baselines on MathCanvas-Bench, demonstrating excellent generalization to other public math benchmarks. Our work provides a complete toolkit-framework, datasets, and benchmark-to unlock complex, human-like visual-aided reasoning in LMMs. Project Page: https://mathcanvas.github.io/