MentalThink: Gedanken formen in der mentalen SVG-Welt

Zusammenfassung

Wir stellen MentalThink vor, ein visuell-symbolisches Reasoning-Paradigma, das multimodale LLMs (MLLMs) mit einem ausführbaren Mechanismus zur „mentalen“ Visualisierung ausstattet. Der Kern von MentalThink ist eine Think-with-SVG-Pipeline, bei der das Modell lernt, Code für skalierbare Vektorgrafiken (SVG) zu generieren, zu rendern und als intermediate visuelle Repräsentation für mehrstufiges Reasoning zu interpretieren. Durch die Erstellung strukturierter Vektorskizzen kann das Modell räumliche Hypothesen externalisieren, sie mittels deterministischen Renderings überprüfen und in einem eingeschränkten geometrischen Raum Reasoning betreiben – und damit effektiv den menschlichen Prozess der mentalen Vorstellung nachahmen. Wir setzen dieses Paradigma in einem zweistufigen Trainingsrahmen um, der überwachte Feinabstimmung (SFT) für die syntaktische Ausrichtung von SVG mit mehrstufigem Verstärkungslernen (RL) kombiniert, um die iterative Inspektion, Überarbeitung und Verfeinerung von intermediären visuellen Hypothesen zu fördern. Umfangreiche Evaluierungen zeigen, dass MentalThink auf Benchmarks für räumliches Verständnis und Reasoning überlegene Ergebnisse erzielt (z. B. 55,1 % auf VSIBench, 76,0 % auf MindCube). Dies belegt, dass ausführbare Vektorgrafiken einen verifizierbaren visuellen Arbeitsbereich für dynamische Perspektivenübernahme, visuelle Reflexion und kompositorische Szenenkonstruktion bieten.

English

We introduce MentalThink, a visual-symbolic reasoning paradigm that equips Multimodal LLMs (MLLMs) with an executable mechanism for "mental" visualization. The core of MentalThink is a think-with-SVG pipeline, where the model learns to generate, render, and interpret scalable vector graphics (SVG) code as an intermediate visual representation for multi-turn reasoning. By creating structured vector sketches, the model can externalize spatial hypotheses, inspect them through deterministic rendering, and reason within a constrained geometric space, effectively mimicking the human process of mental imagery. We instantiate this paradigm through a two-stage training framework, combining Supervised Fine-Tuning (SFT) for SVG syntactic alignment with multi-turn Reinforcement Learning (RL) to encourage iterative inspection, revision, and refinement of intermediate visual hypotheses. Extensive evaluations demonstrate that MentalThink achieves superior performance on spatial understanding and reasoning benchmarks (e.g., 55.1% on VSIBench, 76.0% on MindCube), showing that executable vector graphics provide a verifiable visual workspace for dynamic perspective taking, visual reflection, and compositional scene construction.