Визуальное авторегрессионное моделирование для редактирования изображений с использованием инструкций

Visual Autoregressive Modeling for Instruction-Guided Image Editing

August 21, 2025

Авторы: Qingyang Mao, Qi Cai, Yehao Li, Yingwei Pan, Mingyue Cheng, Ting Yao, Qi Liu, Tao Mei

cs.AI

Аннотация

Последние достижения в области диффузионных моделей привели к значительному улучшению визуальной точности в редактировании изображений на основе инструкций. Однако их глобальный процесс удаления шума неизбежно связывает редактируемую область с контекстом всего изображения, что приводит к нежелательным побочным модификациям и снижению соответствия инструкциям редактирования. В отличие от этого, авторегрессивные модели предлагают иную парадигму, формулируя синтез изображений как последовательный процесс над дискретными визуальными токенами. Их причинно-следственный и композиционный механизм естественным образом обходит проблемы соответствия, характерные для диффузионных методов. В данной статье мы представляем VAREdit, визуальную авторегрессивную (VAR) структуру, которая переосмысливает редактирование изображений как задачу предсказания следующего масштаба. Условившись на основе характеристик исходного изображения и текстовых инструкций, VAREdit генерирует многомасштабные целевые характеристики для достижения точных изменений. Основной проблемой в этой парадигме является эффективное условие на токены исходного изображения. Мы наблюдаем, что характеристики исходного изображения на самом мелком масштабе не могут эффективно направлять предсказание более грубых целевых характеристик. Для устранения этого разрыва мы вводим модуль Scale-Aligned Reference (SAR), который внедряет согласованную по масштабу информацию в первый слой самовнимания. VAREdit демонстрирует значительные улучшения как в точности редактирования, так и в эффективности. На стандартных тестах он превосходит ведущие диффузионные методы на 30\%+ по показателю GPT-Balance. Более того, он завершает редактирование изображения размером 512×512 за 1,2 секунды, что делает его в 2,2 раза быстрее, чем аналогичный по размеру UltraEdit. Модели доступны по адресу https://github.com/HiDream-ai/VAREdit.

English

Recent advances in diffusion models have brought remarkable visual fidelity to instruction-guided image editing. However, their global denoising process inherently entangles the edited region with the entire image context, leading to unintended spurious modifications and compromised adherence to editing instructions. In contrast, autoregressive models offer a distinct paradigm by formulating image synthesis as a sequential process over discrete visual tokens. Their causal and compositional mechanism naturally circumvents the adherence challenges of diffusion-based methods. In this paper, we present VAREdit, a visual autoregressive (VAR) framework that reframes image editing as a next-scale prediction problem. Conditioned on source image features and text instructions, VAREdit generates multi-scale target features to achieve precise edits. A core challenge in this paradigm is how to effectively condition the source image tokens. We observe that finest-scale source features cannot effectively guide the prediction of coarser target features. To bridge this gap, we introduce a Scale-Aligned Reference (SAR) module, which injects scale-matched conditioning information into the first self-attention layer. VAREdit demonstrates significant advancements in both editing adherence and efficiency. On standard benchmarks, it outperforms leading diffusion-based methods by 30\%+ higher GPT-Balance score. Moreover, it completes a 512times512 editing in 1.2 seconds, making it 2.2times faster than the similarly sized UltraEdit. The models are available at https://github.com/HiDream-ai/VAREdit.