ETCHR : Réviser pour clarifier et exploiter le raisonnement

Résumé

Les grands modèles de langage multimodaux ont fait progresser le raisonnement visuel, mais une chaîne de pensée purement textuelle reste un goulot d'étranglement pour les questions nécessitant une attention fine ou des transformations de points de vue. Le paradigme « penser avec des images » réduit cet écart, mais les approches existantes sont soit contraintes par des boîtes à outils fixes prédéfinies, soit produisent des images intermédiaires bruitées à partir de méthodes multimodales unifiées. Nous explorons une troisième option : utiliser un modèle dédié d'édition d'image et le découpler d'un modèle de compréhension. Cependant, les éditeurs d'image prêts à l'emploi échouent en tant qu'assistants de raisonnement, avec deux lacunes complémentaires : une lacune du côté langage, où les éditeurs entraînés comme suiveurs passifs d'instructions ne peuvent pas mapper une question abstraite en une transformation visuelle appropriée, et une lacune du côté génération, où la correction de l'édition se dégrade à mesure que la profondeur du raisonnement augmente. Guidés par cette analyse, nous introduisons ETCHR (Editing To Clarify and Harness Reasoning — Édition pour Clarifier et Exploiter le Raisonnement), un éditeur d'image conditionné par la question et conscient du raisonnement, découplé du modèle de compréhension en aval, et entraîné avec une recette en deux étapes ciblant ces deux lacunes : Imitation du Raisonnement via un fine-tuning supervisé sur des trajectoires d'édition, suivie d'Amélioration du Raisonnement avec des récompenses dérivées du VLM pour la correction de l'édition et la précision du raisonnement en aval. Grâce au découplage de l'éditeur, ETCHR s'intègre dans différents MLLMs open-source et closed-source de manière sans apprentissage. Sur cinq familles de tâches (perception fine, compréhension de graphiques, raisonnement logique, restauration de puzzles et compréhension 3D), ETCHR augmente le Pass@1 moyen de 55,95 à 60,77 (+4,82) avec Qwen3-VL-8B, de 65,08 à 70,55 (+5,47) avec Gemini-3.1-Flash-Lite, et de 76,55 à 81,16 (+4,61) avec le modèle MoE à 1T de paramètres Kimi K2.5.

English

Multimodal Large Language Models have advanced visual reasoning, yet a purely textual chain of thought remains a bottleneck for questions that require fine-grained focus or view transformations. The ''think with images'' paradigm narrows this gap, but existing approaches are either constrained by fixed predefined toolkits or produce noisy intermediate images from unified multimodal methods. We pursue a third option: using a dedicated image editing model and decouple it with an understanding model. However, off-the-shelf image editors fail as reasoning assistants with two complementary gaps: a language-side gap, where editors trained as passive instruction-followers cannot map an abstract question to an appropriate visual transformation, and a generation-side gap, where edit correctness degrades as reasoning depth grows. Guided by this analysis, we introduce ETCHR (Editing To Clarify and Harness Reasoning), a question-conditioned, reasoning-aware image editor decoupled from the downstream understanding model and trained with a two-stage recipe targeted at the two gaps: Reasoning Imitation via supervised fine-tuning on edit trajectories, followed by Reasoning Enhancement with VLM-derived rewards for edit correctness and downstream reasoning accuracy. Since the editor is decoupled, ETCHR plugs into different open- and closed-source MLLMs in a training-free manner. Across five task families (fine-grained perception, chart understanding, logic reasoning, jigsaw restoration, and 3D understanding), ETCHR raises average Pass@1 from 55.95 to 60.77 (+4.82) with Qwen3-VL-8B, from 65.08 to 70.55 (+5.47) with Gemini-3.1-Flash-Lite, and from 76.55 to 81.16 (+4.61) with the 1T-parameter MoE model Kimi K2.5.