UltraImage: Переосмысление экстраполяции разрешения в диффузионных трансформерах для изображений
UltraImage: Rethinking Resolution Extrapolation in Image Diffusion Transformers
December 4, 2025
Авторы: Min Zhao, Bokai Yan, Xue Yang, Hongzhou Zhu, Jintao Zhang, Shilong Liu, Chongxuan Li, Jun Zhu
cs.AI
Аннотация
Современные диффузионные трансформеры для генерации изображений достигают высокой точности воспроизведения, однако сталкиваются с трудностями при создании изображений сверх обученных масштабов, страдая от повторов содержания и деградации качества. В данной работе мы представляем UltraImage — принципиальную архитектуру, решающую обе проблемы. На основе частотного анализа позиционных эмбеддингов мы выявили, что повторение возникает из-за периодичности доминирующей частоты, период которой совпадает с разрешением обучения. Мы предлагаем рекуррентную коррекцию доминирующей частоты, ограничивающую её одним периодом после экстраполяции. Кроме того, мы установили, что деградация качества вызвана рассеиванием внимания, и вводим адаптивную концентрацию внимания с управлением по энтропии, которая назначает более высокие коэффициенты фокусировки для обострения локального внимания к деталям и более низкие — для глобальных шаблонов внимания с целью сохранения структурной целостности. Эксперименты показывают, что UltraImage стабильно превосходит предыдущие методы на моделях Qwen-Image и Flux (около 4K) в трёх сценариях генерации, снижая повторы и улучшая визуальное качество. Более того, UltraImage способен генерировать изображения до 6K×6K без низкоразрешающих подсказок при обучении на разрешении 1328p, демонстрируя экстремальные возможности экстраполяции. Страница проекта доступна по адресу: https://thu-ml.github.io/ultraimage.github.io/.
English
Recent image diffusion transformers achieve high-fidelity generation, but struggle to generate images beyond these scales, suffering from content repetition and quality degradation. In this work, we present UltraImage, a principled framework that addresses both issues. Through frequency-wise analysis of positional embeddings, we identify that repetition arises from the periodicity of the dominant frequency, whose period aligns with the training resolution. We introduce a recursive dominant frequency correction to constrain it within a single period after extrapolation. Furthermore, we find that quality degradation stems from diluted attention and thus propose entropy-guided adaptive attention concentration, which assigns higher focus factors to sharpen local attention for fine detail and lower ones to global attention patterns to preserve structural consistency. Experiments show that UltraImage consistently outperforms prior methods on Qwen-Image and Flux (around 4K) across three generation scenarios, reducing repetition and improving visual fidelity. Moreover, UltraImage can generate images up to 6K*6K without low-resolution guidance from a training resolution of 1328p, demonstrating its extreme extrapolation capability. Project page is available at https://thu-ml.github.io/ultraimage.github.io/{https://thu-ml.github.io/ultraimage.github.io/}.