UltraImage: Ripensare l'estrapolazione della risoluzione nei Transformers per diffusione di immagini
UltraImage: Rethinking Resolution Extrapolation in Image Diffusion Transformers
December 4, 2025
Autori: Min Zhao, Bokai Yan, Xue Yang, Hongzhou Zhu, Jintao Zhang, Shilong Liu, Chongxuan Li, Jun Zhu
cs.AI
Abstract
I recenti transformer per diffusione di immagini raggiungono una generazione ad alta fedeltà, ma faticano a generare immagini oltre queste scale, soffrendo di ripetizione dei contenuti e degrado della qualità. In questo lavoro, presentiamo UltraImage, un framework principiato che affronta entrambi i problemi. Attraverso un'analisi in frequenza degli embedding posizionali, identifichiamo che la ripetizione sorge dalla periodicità della frequenza dominante, il cui periodo si allinea con la risoluzione di addestramento. Introduciamo una correzione ricorsiva della frequenza dominante per vincolarla all'interno di un singolo periodo dopo l'estrapolazione. Inoltre, scopriamo che il degrado della qualità origina da un'attenzione diluita e proponiamo quindi una concentrazione adattiva dell'attenzione guidata dall'entropia, che assegna fattori di focalizzazione più elevati per affinare l'attenzione locale per i dettagli fini e più bassi per i pattern di attenzione globale per preservare la coerenza strutturale. Gli esperimenti mostrano che UltraImage supera costantemente i metodi precedenti su Qwen-Image e Flux (circa 4K) in tre scenari di generazione, riducendo la ripetizione e migliorando la fedeltà visiva. Inoltre, UltraImage può generare immagini fino a 6K*6K senza una guida a bassa risoluzione partendo da una risoluzione di addestramento di 1328p, dimostrando la sua capacità di estrapolazione estrema. La pagina del progetto è disponibile all'indirizzo https://thu-ml.github.io/ultraimage.github.io/.
English
Recent image diffusion transformers achieve high-fidelity generation, but struggle to generate images beyond these scales, suffering from content repetition and quality degradation. In this work, we present UltraImage, a principled framework that addresses both issues. Through frequency-wise analysis of positional embeddings, we identify that repetition arises from the periodicity of the dominant frequency, whose period aligns with the training resolution. We introduce a recursive dominant frequency correction to constrain it within a single period after extrapolation. Furthermore, we find that quality degradation stems from diluted attention and thus propose entropy-guided adaptive attention concentration, which assigns higher focus factors to sharpen local attention for fine detail and lower ones to global attention patterns to preserve structural consistency. Experiments show that UltraImage consistently outperforms prior methods on Qwen-Image and Flux (around 4K) across three generation scenarios, reducing repetition and improving visual fidelity. Moreover, UltraImage can generate images up to 6K*6K without low-resolution guidance from a training resolution of 1328p, demonstrating its extreme extrapolation capability. Project page is available at https://thu-ml.github.io/ultraimage.github.io/{https://thu-ml.github.io/ultraimage.github.io/}.