UltraImage : Repenser l'extrapolation de résolution dans les transformeurs de diffusion d'images
UltraImage: Rethinking Resolution Extrapolation in Image Diffusion Transformers
December 4, 2025
papers.authors: Min Zhao, Bokai Yan, Xue Yang, Hongzhou Zhu, Jintao Zhang, Shilong Liu, Chongxuan Li, Jun Zhu
cs.AI
papers.abstract
Les transformateurs de diffusion d'images récents permettent une génération de haute fidélité, mais peinent à produire des images au-delà de ces échelles, souffrant de répétition de contenu et de dégradation de la qualité. Dans ce travail, nous présentons UltraImage, un cadre méthodologique qui résout ces deux problèmes. Par une analyse fréquentielle des plongements positionnels, nous identifions que la répétition provient de la périodicité de la fréquence dominante, dont la période correspond à la résolution d'entraînement. Nous introduisons une correction récursive de la fréquence dominante pour la contraindre à une seule période après extrapolation. De plus, nous constatons que la dégradation de qualité découle d'une dilution de l'attention et proposons donc une concentration adaptive guidée par l'entropie, qui attribue des facteurs d'attention plus élevés pour accentuer l'attention locale afin de préserver les détails fins, et des facteurs plus faibles pour les patterns d'attention globale afin de maintenir la cohérence structurelle. Les expériences montrent qu'UltraImage surpasse constamment les méthodes antérieures sur Qwen-Image et Flux (environ 4K) dans trois scénarios de génération, réduisant la répétition et améliorant la fidélité visuelle. De plus, UltraImage peut générer des images jusqu'à 6K×6K sans guidage basse résolution à partir d'une résolution d'entraînement de 1328p, démontrant sa capacité d'extrapolation extrême. La page du projet est disponible à l'adresse https://thu-ml.github.io/ultraimage.github.io/.
English
Recent image diffusion transformers achieve high-fidelity generation, but struggle to generate images beyond these scales, suffering from content repetition and quality degradation. In this work, we present UltraImage, a principled framework that addresses both issues. Through frequency-wise analysis of positional embeddings, we identify that repetition arises from the periodicity of the dominant frequency, whose period aligns with the training resolution. We introduce a recursive dominant frequency correction to constrain it within a single period after extrapolation. Furthermore, we find that quality degradation stems from diluted attention and thus propose entropy-guided adaptive attention concentration, which assigns higher focus factors to sharpen local attention for fine detail and lower ones to global attention patterns to preserve structural consistency. Experiments show that UltraImage consistently outperforms prior methods on Qwen-Image and Flux (around 4K) across three generation scenarios, reducing repetition and improving visual fidelity. Moreover, UltraImage can generate images up to 6K*6K without low-resolution guidance from a training resolution of 1328p, demonstrating its extreme extrapolation capability. Project page is available at https://thu-ml.github.io/ultraimage.github.io/{https://thu-ml.github.io/ultraimage.github.io/}.