REASONEDIT: в сторону моделей редактирования изображений с улучшенными возможностями логического вывода
REASONEDIT: Towards Reasoning-Enhanced Image Editing Models
November 27, 2025
Авторы: Fukun Yin, Shiyu Liu, Yucheng Han, Zhibo Wang, Peng Xing, Rui Wang, Wei Cheng, Yingming Wang, Aojie Li, Zixin Yin, Pengtao Chen, Xiangyu Zhang, Daxin Jiang, Xianfang Zeng, Gang Yu
cs.AI
Аннотация
Последние достижения в области моделей редактирования изображений демонстрируют значительный прогресс. Распространенная архитектурная схема предполагает объединение кодера мультимодальной большой языковой модели (MLLM) с диффузионным декодером, что можно наблюдать в таких системах, как Step1X-Edit и Qwen-Image-Edit, где MLLM кодирует как эталонное изображение, так и инструкцию, но остается замороженной в процессе обучения. В данной работе мы показываем, что раскрытие способностей MLLM к логическому выводу может еще больше расширить границы возможностей моделей редактирования. В частности, мы исследуем два механизма рассуждения — мышление и рефлексию, — которые улучшают понимание инструкций и точность редактирования. На основе этого наша предлагаемая архитектура позволяет осуществлять редактирование изображений в цикле «мышление-редактирование-рефлексия»: механизм мышления использует знания MLLM о мире для интерпретации абстрактных инструкций, в то время как рефлексия анализирует результаты редактирования, автоматически исправляет непреднамеренные изменения и определяет момент остановки. Многочисленные эксперименты демонстрируют, что наш подход с использованием рассуждений обеспечивает значительный прирост производительности: улучшение показателей на ImgEdit (+4.3%), GEdit (+4.7%) и Kris (+8.2%) при инициализации нашей DiT из Step1X-Edit (ReasonEdit-S), а также превосходство над предыдущими открытыми методами как на GEdit, так и на Kris при интеграции с Qwen-Image-Edit (ReasonEdit-Q).
English
Recent advances in image editing models have shown remarkable progress. A common architectural design couples a multimodal large language model (MLLM) encoder with a diffusion decoder, as seen in systems such as Step1X-Edit and Qwen-Image-Edit, where the MLLM encodes both the reference image and the instruction but remains frozen during training. In this work, we demonstrate that unlocking the reasoning capabilities of MLLM can further push the boundaries of editing models. Specifically, we explore two reasoning mechanisms, thinking and reflection, which enhance instruction understanding and editing accuracy. Based on that, our proposed framework enables image editing in a thinking-editing-reflection loop: the thinking mechanism leverages the world knowledge of MLLM to interpret abstract instructions, while the reflection reviews editing results, automatically corrects unintended manipulations, and identifies the stopping round. Extensive experiments demonstrate that our reasoning approach achieves significant performance gains, with improvements of ImgEdit (+4.3%), GEdit (+4.7%), and Kris (+8.2%) when initializing our DiT from the Step1X-Edit (ReasonEdit-S), and also outperforms previous open-source methods on both GEdit and Kris when integrated with Qwen-Image-Edit (ReasonEdit-Q).