ETCHR: Bearbeiten zur Klärung und Nutzung von Schlussfolgerungen

Zusammenfassung

Multimodale große Sprachmodelle haben das visuelle Denken vorangebracht, doch eine rein textuelle Gedankenkette bleibt für Fragen, die eine feinkörnige Fokussierung oder Ansichtstransformationen erfordern, ein Engpass. Das Paradigma des „Denkens mit Bildern“ verringert diese Lücke, aber bestehende Ansätze sind entweder durch fest vordefinierte Werkzeugsätze eingeschränkt oder erzeugen verrauschte Zwischenbilder aus einheitlichen multimodalen Methoden. Wir verfolgen eine dritte Option: die Verwendung eines dedizierten Bildbearbeitungsmodells und dessen Entkopplung von einem Verständnismodell. Allerdings versagen handelsübliche Bildeditoren als Denkassistenten aufgrund zweier sich ergänzender Lücken: einer sprachseitigen Lücke, bei der als passive Befehlsbefolger trainierte Editoren eine abstrakte Frage nicht auf eine geeignete visuelle Transformation abbilden können, sowie einer erzeugungsseitigen Lücke, bei der die Korrektheit der Bearbeitung mit zunehmender Denktiefe nachlässt. Ausgehend von dieser Analyse stellen wir ETCHR (Editing To Clarify and Harness Reasoning – Bearbeitung zur Klärung und Nutzung des Denkens) vor, einen fragestellungsabhängigen, denkbewussten Bildeditor, der vom nachgeschalteten Verständnismodell entkoppelt ist und mit einem auf die beiden Lücken ausgerichteten zweistufigen Rezept trainiert wird: Nachahmung des Denkens durch überwachtes Feintuning auf Bearbeitungspfaden, gefolgt von Verbesserung des Denkens mit aus VLMs abgeleiteten Belohnungen für die Korrektheit der Bearbeitung und die Genauigkeit des nachgeschalteten Denkens. Da der Editor entkoppelt ist, lässt sich ETCHR trainingsfrei in verschiedene Open- und Closed-Source-MLLMs einbinden. Über fünf Aufgabenfamilien hinweg (feinkörnige Wahrnehmung, Diagrammverständnis, logisches Denken, Puzzle-Wiederherstellung und 3D-Verständnis) verbessert ETCHR den durchschnittlichen Pass@1 von 55,95 auf 60,77 (+4,82) mit Qwen3-VL-8B, von 65,08 auf 70,55 (+5,47) mit Gemini-3.1-Flash-Lite und von 76,55 auf 81,16 (+4,61) mit dem 1T-Parameter-MoE-Modell Kimi K2.5.

English

Multimodal Large Language Models have advanced visual reasoning, yet a purely textual chain of thought remains a bottleneck for questions that require fine-grained focus or view transformations. The ''think with images'' paradigm narrows this gap, but existing approaches are either constrained by fixed predefined toolkits or produce noisy intermediate images from unified multimodal methods. We pursue a third option: using a dedicated image editing model and decouple it with an understanding model. However, off-the-shelf image editors fail as reasoning assistants with two complementary gaps: a language-side gap, where editors trained as passive instruction-followers cannot map an abstract question to an appropriate visual transformation, and a generation-side gap, where edit correctness degrades as reasoning depth grows. Guided by this analysis, we introduce ETCHR (Editing To Clarify and Harness Reasoning), a question-conditioned, reasoning-aware image editor decoupled from the downstream understanding model and trained with a two-stage recipe targeted at the two gaps: Reasoning Imitation via supervised fine-tuning on edit trajectories, followed by Reasoning Enhancement with VLM-derived rewards for edit correctness and downstream reasoning accuracy. Since the editor is decoupled, ETCHR plugs into different open- and closed-source MLLMs in a training-free manner. Across five task families (fine-grained perception, chart understanding, logic reasoning, jigsaw restoration, and 3D understanding), ETCHR raises average Pass@1 from 55.95 to 60.77 (+4.82) with Qwen3-VL-8B, from 65.08 to 70.55 (+5.47) with Gemini-3.1-Flash-Lite, and from 76.55 to 81.16 (+4.61) with the 1T-parameter MoE model Kimi K2.5.