MathCanvas: Intrinsische visuelle Gedankenkette für multimodales mathematisches Denken

papers.abstract

Während Large Language Models (LLMs) im Bereich des textbasierten Denkens hervorragende Leistungen erbracht haben, zeigen sie Schwächen in mathematischen Domänen wie der Geometrie, die intrinsisch auf visuelle Hilfsmittel angewiesen sind. Bestehende Ansätze zum Visual Chain-of-Thought (VCoT) sind oft durch starre externe Werkzeuge eingeschränkt oder scheitern daran, hochwertige, strategisch zeitgesteuerte Diagramme zu generieren, die für komplexe Problemlösungen notwendig sind. Um diese Lücke zu schließen, stellen wir MathCanvas vor, ein umfassendes Framework, das darauf abzielt, einheitliche Large Multimodal Models (LMMs) mit intrinsischen VCoT-Fähigkeiten für die Mathematik auszustatten. Unser Ansatz besteht aus zwei Phasen. Zunächst wird in einer Visual Manipulation-Phase das Modell auf einem neuartigen Korpus mit 15,2 Millionen Paaren vortrainiert, der 10 Millionen Beschriftungs-Diagramm-Paare (MathCanvas-Imagen) und 5,2 Millionen schrittweise Bearbeitungspfade (MathCanvas-Edit) umfasst, um die Diagrammerstellung und -bearbeitung zu beherrschen. In der zweiten Phase, dem Strategic Visual-Aided Reasoning, wird das Modell auf MathCanvas-Instruct feinabgestimmt, einem neuen Datensatz mit 219.000 Beispielen von verschachtelten visuell-textuellen Denkpfaden, um ihm beizubringen, wann und wie visuelle Hilfsmittel einzusetzen sind. Um eine rigorose Bewertung zu ermöglichen, führen wir MathCanvas-Bench ein, einen anspruchsvollen Benchmark mit 3.000 Problemen, die von Modellen die Erstellung verschachtelter visuell-textueller Lösungen verlangen. Unser Modell, BAGEL-Canvas, das unter diesem Framework trainiert wurde, erzielt eine relative Verbesserung von 86 % gegenüber starken LMM-Baselines auf MathCanvas-Bench und zeigt eine hervorragende Generalisierung auf andere öffentliche Mathematik-Benchmarks. Unsere Arbeit bietet ein vollständiges Toolkit – Framework, Datensätze und Benchmark – um komplexes, menschenähnliches visuell unterstütztes Denken in LMMs zu ermöglichen. Projektseite: https://mathcanvas.github.io/

English

While Large Language Models (LLMs) have excelled in textual reasoning, they struggle with mathematical domains like geometry that intrinsically rely on visual aids. Existing approaches to Visual Chain-of-Thought (VCoT) are often limited by rigid external tools or fail to generate the high-fidelity, strategically-timed diagrams necessary for complex problem-solving. To bridge this gap, we introduce MathCanvas, a comprehensive framework designed to endow unified Large Multimodal Models (LMMs) with intrinsic VCoT capabilities for mathematics. Our approach consists of two phases. First, a Visual Manipulation stage pre-trains the model on a novel 15.2M-pair corpus, comprising 10M caption-to-diagram pairs (MathCanvas-Imagen) and 5.2M step-by-step editing trajectories (MathCanvas-Edit), to master diagram generation and editing. Second, a Strategic Visual-Aided Reasoning stage fine-tunes the model on MathCanvas-Instruct, a new 219K-example dataset of interleaved visual-textual reasoning paths, teaching it when and how to leverage visual aids. To facilitate rigorous evaluation, we introduce MathCanvas-Bench, a challenging benchmark with 3K problems that require models to produce interleaved visual-textual solutions. Our model, BAGEL-Canvas, trained under this framework, achieves an 86% relative improvement over strong LMM baselines on MathCanvas-Bench, demonstrating excellent generalization to other public math benchmarks. Our work provides a complete toolkit-framework, datasets, and benchmark-to unlock complex, human-like visual-aided reasoning in LMMs. Project Page: https://mathcanvas.github.io/

MathCanvas: Intrinsische visuelle Gedankenkette für multimodales mathematisches Denken

MathCanvas: Intrinsic Visual Chain-of-Thought for Multimodal Mathematical Reasoning

papers.abstract

Support