Modelado Autoregresivo Visual para la Edición de Imágenes Guiada por Instrucciones

Visual Autoregressive Modeling for Instruction-Guided Image Editing

August 21, 2025

Autores: Qingyang Mao, Qi Cai, Yehao Li, Yingwei Pan, Mingyue Cheng, Ting Yao, Qi Liu, Tao Mei

cs.AI

Resumen

Los recientes avances en los modelos de difusión han aportado una notable fidelidad visual a la edición de imágenes guiada por instrucciones. Sin embargo, su proceso global de eliminación de ruido inherentemente entrelaza la región editada con todo el contexto de la imagen, lo que conduce a modificaciones espurias no deseadas y a un compromiso en la adherencia a las instrucciones de edición. En contraste, los modelos autorregresivos ofrecen un paradigma distinto al formular la síntesis de imágenes como un proceso secuencial sobre tokens visuales discretos. Su mecanismo causal y composicional evita naturalmente los desafíos de adherencia de los métodos basados en difusión. En este artículo, presentamos VAREdit, un marco autorregresivo visual (VAR) que replantea la edición de imágenes como un problema de predicción de la siguiente escala. Condicionado por las características de la imagen fuente y las instrucciones de texto, VAREdit genera características objetivo a múltiples escalas para lograr ediciones precisas. Un desafío central en este paradigma es cómo condicionar efectivamente los tokens de la imagen fuente. Observamos que las características de la fuente a la escala más fina no pueden guiar efectivamente la predicción de las características objetivo más gruesas. Para cerrar esta brecha, introducimos un módulo de Referencia Alineada en Escala (SAR, por sus siglas en inglés), que inyecta información de condicionamiento alineada en escala en la primera capa de autoatención. VAREdit demuestra avances significativos tanto en la adherencia a la edición como en la eficiencia. En puntos de referencia estándar, supera a los principales métodos basados en difusión con un puntaje GPT-Balance un 30\% más alto. Además, completa una edición de 512x512 en 1.2 segundos, lo que lo hace 2.2 veces más rápido que UltraEdit de tamaño similar. Los modelos están disponibles en https://github.com/HiDream-ai/VAREdit.

English

Recent advances in diffusion models have brought remarkable visual fidelity to instruction-guided image editing. However, their global denoising process inherently entangles the edited region with the entire image context, leading to unintended spurious modifications and compromised adherence to editing instructions. In contrast, autoregressive models offer a distinct paradigm by formulating image synthesis as a sequential process over discrete visual tokens. Their causal and compositional mechanism naturally circumvents the adherence challenges of diffusion-based methods. In this paper, we present VAREdit, a visual autoregressive (VAR) framework that reframes image editing as a next-scale prediction problem. Conditioned on source image features and text instructions, VAREdit generates multi-scale target features to achieve precise edits. A core challenge in this paradigm is how to effectively condition the source image tokens. We observe that finest-scale source features cannot effectively guide the prediction of coarser target features. To bridge this gap, we introduce a Scale-Aligned Reference (SAR) module, which injects scale-matched conditioning information into the first self-attention layer. VAREdit demonstrates significant advancements in both editing adherence and efficiency. On standard benchmarks, it outperforms leading diffusion-based methods by 30\%+ higher GPT-Balance score. Moreover, it completes a 512times512 editing in 1.2 seconds, making it 2.2times faster than the similarly sized UltraEdit. The models are available at https://github.com/HiDream-ai/VAREdit.