Modellazione Autoregressiva Visiva per la Modifica di Immagini Guidata da Istruzioni

Visual Autoregressive Modeling for Instruction-Guided Image Editing

August 21, 2025

Autori: Qingyang Mao, Qi Cai, Yehao Li, Yingwei Pan, Mingyue Cheng, Ting Yao, Qi Liu, Tao Mei

cs.AI

Abstract

I recenti progressi nei modelli di diffusione hanno portato una notevole fedeltà visiva all'editing di immagini guidato da istruzioni. Tuttavia, il loro processo globale di denoising intrinsecamente intreccia la regione modificata con l'intero contesto dell'immagine, portando a modifiche spurie indesiderate e a un compromesso nell'aderenza alle istruzioni di editing. Al contrario, i modelli autoregressivi offrono un paradigma distinto formulando la sintesi di immagini come un processo sequenziale su token visivi discreti. Il loro meccanismo causale e compositivo supera naturalmente le sfide di aderenza dei metodi basati sulla diffusione. In questo articolo, presentiamo VAREdit, un framework autoregressivo visivo (VAR) che riformula l'editing di immagini come un problema di previsione alla scala successiva. Condizionato sulle caratteristiche dell'immagine sorgente e sulle istruzioni testuali, VAREdit genera caratteristiche target multi-scala per ottenere modifiche precise. Una sfida centrale in questo paradigma è come condizionare efficacemente i token dell'immagine sorgente. Osserviamo che le caratteristiche sorgente alla scala più fine non possono guidare efficacemente la previsione delle caratteristiche target più grossolane. Per colmare questa lacuna, introduciamo un modulo di Riferimento Allineato alla Scala (SAR), che inietta informazioni di condizionamento corrispondenti alla scala nel primo livello di self-attention. VAREdit dimostra significativi progressi sia nell'aderenza all'editing che nell'efficienza. Su benchmark standard, supera i principali metodi basati sulla diffusione con un punteggio GPT-Balance superiore del 30%+. Inoltre, completa un editing 512x512 in 1,2 secondi, rendendolo 2,2 volte più veloce rispetto a UltraEdit di dimensioni simili. I modelli sono disponibili su https://github.com/HiDream-ai/VAREdit.

English

Recent advances in diffusion models have brought remarkable visual fidelity to instruction-guided image editing. However, their global denoising process inherently entangles the edited region with the entire image context, leading to unintended spurious modifications and compromised adherence to editing instructions. In contrast, autoregressive models offer a distinct paradigm by formulating image synthesis as a sequential process over discrete visual tokens. Their causal and compositional mechanism naturally circumvents the adherence challenges of diffusion-based methods. In this paper, we present VAREdit, a visual autoregressive (VAR) framework that reframes image editing as a next-scale prediction problem. Conditioned on source image features and text instructions, VAREdit generates multi-scale target features to achieve precise edits. A core challenge in this paradigm is how to effectively condition the source image tokens. We observe that finest-scale source features cannot effectively guide the prediction of coarser target features. To bridge this gap, we introduce a Scale-Aligned Reference (SAR) module, which injects scale-matched conditioning information into the first self-attention layer. VAREdit demonstrates significant advancements in both editing adherence and efficiency. On standard benchmarks, it outperforms leading diffusion-based methods by 30\%+ higher GPT-Balance score. Moreover, it completes a 512times512 editing in 1.2 seconds, making it 2.2times faster than the similarly sized UltraEdit. The models are available at https://github.com/HiDream-ai/VAREdit.