ETCHR: Редактирование для прояснения и использования рассуждений

Аннотация

Мультимодальные большие языковые модели достигли успехов в визуальном рассуждении, однако чисто текстовая цепочка рассуждений остается узким местом для задач, требующих детального внимания или преобразований перспективы. Парадигма «мышление с изображениями» сокращает этот разрыв, но существующие подходы либо ограничены фиксированными предопределенными наборами инструментов, либо порождают зашумленные промежуточные изображения с помощью унифицированных мультимодальных методов. Мы рассматриваем третий вариант: использование специализированной модели редактирования изображений и ее отделение от модели понимания. Однако готовые редакторы изображений не подходят в качестве ассистентов рассуждений из-за двух взаимодополняющих пробелов: со стороны языка — редакторы, обученные как пассивные исполнители инструкций, не могут сопоставить абстрактный вопрос с соответствующим визуальным преобразованием; и со стороны генерации — качество редактирования снижается по мере увеличения глубины рассуждений. Руководствуясь этим анализом, мы представляем ETCHR (Редактирование для уточнения и использования рассуждений) — редактор изображений, учитывающий вопросы и рассуждения, отделенный от последующей модели понимания и обученный по двухэтапной методике, нацеленной на два упомянутых пробела: имитация рассуждений с помощью контролируемой донастройки на траекториях редактирования с последующим улучшением рассуждений с использованием вознаграждений, полученных от VLM (модели визуально-языкового понимания), за правильность редактирования и точность последующих рассуждений. Поскольку редактор отделен, ETCHR подключается к различным открытым и закрытым мультимодальным большим языковым моделям (ММЯМ) без дополнительного обучения. На пяти семействах задач (детальное восприятие, понимание диаграмм, логические рассуждения, восстановление пазлов и трехмерное понимание) ETCHR повышает средний показатель Pass@1 с 55,95 до 60,77 (+4,82) для Qwen3-VL-8B, с 65,08 до 70,55 (+5,47) для Gemini-3.1-Flash-Lite и с 76,55 до 81,16 (+4,61) для модели MoE (смесь экспертов) с 1 триллионом параметров Kimi K2.5.

English

Multimodal Large Language Models have advanced visual reasoning, yet a purely textual chain of thought remains a bottleneck for questions that require fine-grained focus or view transformations. The ''think with images'' paradigm narrows this gap, but existing approaches are either constrained by fixed predefined toolkits or produce noisy intermediate images from unified multimodal methods. We pursue a third option: using a dedicated image editing model and decouple it with an understanding model. However, off-the-shelf image editors fail as reasoning assistants with two complementary gaps: a language-side gap, where editors trained as passive instruction-followers cannot map an abstract question to an appropriate visual transformation, and a generation-side gap, where edit correctness degrades as reasoning depth grows. Guided by this analysis, we introduce ETCHR (Editing To Clarify and Harness Reasoning), a question-conditioned, reasoning-aware image editor decoupled from the downstream understanding model and trained with a two-stage recipe targeted at the two gaps: Reasoning Imitation via supervised fine-tuning on edit trajectories, followed by Reasoning Enhancement with VLM-derived rewards for edit correctness and downstream reasoning accuracy. Since the editor is decoupled, ETCHR plugs into different open- and closed-source MLLMs in a training-free manner. Across five task families (fine-grained perception, chart understanding, logic reasoning, jigsaw restoration, and 3D understanding), ETCHR raises average Pass@1 from 55.95 to 60.77 (+4.82) with Qwen3-VL-8B, from 65.08 to 70.55 (+5.47) with Gemini-3.1-Flash-Lite, and from 76.55 to 81.16 (+4.61) with the 1T-parameter MoE model Kimi K2.5.