UltraImage: Repensando la Extrapolación de Resolución en Transformadores de Difusión de Imágenes
UltraImage: Rethinking Resolution Extrapolation in Image Diffusion Transformers
December 4, 2025
Autores: Min Zhao, Bokai Yan, Xue Yang, Hongzhou Zhu, Jintao Zhang, Shilong Liu, Chongxuan Li, Jun Zhu
cs.AI
Resumen
Los transformadores de difusión de imágenes recientes logran una generación de alta fidelidad, pero presentan dificultades para generar imágenes más allá de estas escalas, sufriendo de repetición de contenido y degradación de la calidad. En este trabajo, presentamos UltraImage, un marco fundamentado que aborda ambos problemas. Mediante un análisis en el dominio de la frecuencia de los embeddings posicionales, identificamos que la repetición surge de la periodicidad de la frecuencia dominante, cuyo período coincide con la resolución de entrenamiento. Introducimos una corrección recursiva de la frecuencia dominante para restringirla a un único período después de la extrapolación. Además, encontramos que la degradación de la calidad proviene de una dilución de la atención y, por lo tanto, proponemos una concentración de atención adaptativa guiada por entropía, que asigna factores de enfoque más altos para agudizar la atención local y obtener detalles finos, y factores más bajos para los patrones de atención global con el fin de preservar la coherencia estructural. Los experimentos muestran que UltraImage supera consistentemente a métodos anteriores en Qwen-Image y Flux (alrededor de 4K) en tres escenarios de generación, reduciendo la repetición y mejorando la fidelidad visual. Además, UltraImage puede generar imágenes de hasta 6K*6K sin guía de baja resolución a partir de una resolución de entrenamiento de 1328p, lo que demuestra su capacidad de extrapolación extrema. La página del proyecto está disponible en https://thu-ml.github.io/ultraimage.github.io/.
English
Recent image diffusion transformers achieve high-fidelity generation, but struggle to generate images beyond these scales, suffering from content repetition and quality degradation. In this work, we present UltraImage, a principled framework that addresses both issues. Through frequency-wise analysis of positional embeddings, we identify that repetition arises from the periodicity of the dominant frequency, whose period aligns with the training resolution. We introduce a recursive dominant frequency correction to constrain it within a single period after extrapolation. Furthermore, we find that quality degradation stems from diluted attention and thus propose entropy-guided adaptive attention concentration, which assigns higher focus factors to sharpen local attention for fine detail and lower ones to global attention patterns to preserve structural consistency. Experiments show that UltraImage consistently outperforms prior methods on Qwen-Image and Flux (around 4K) across three generation scenarios, reducing repetition and improving visual fidelity. Moreover, UltraImage can generate images up to 6K*6K without low-resolution guidance from a training resolution of 1328p, demonstrating its extreme extrapolation capability. Project page is available at https://thu-ml.github.io/ultraimage.github.io/{https://thu-ml.github.io/ultraimage.github.io/}.