UltraImage: 画像拡散Transformerにおける解像度外挿の再考

UltraImage: Rethinking Resolution Extrapolation in Image Diffusion Transformers

December 4, 2025

著者: Min Zhao, Bokai Yan, Xue Yang, Hongzhou Zhu, Jintao Zhang, Shilong Liu, Chongxuan Li, Jun Zhu

cs.AI

要旨

近年、画像拡散トランスフォーマーは高精細な生成を実現しているが、学習解像度を超えるスケールでの画像生成には課題があり、コンテンツの繰り返しや品質劣化が生じやすい。本研究では、これらの問題を同時に解決する原理に基づいたフレームワーク「UltraImage」を提案する。位置埋め込みの周波数解析を通じて、繰り返し現象が支配周波数の周期性に起因することを明らかにし、その周期が学習解像度と一致することを確認した。我々は外挿後に支配周波数を単一周期内に制限する再帰的支配周波数補正を導入した。さらに、品質劣化が注意機構の希薄化に起因することを見出し、エントロピー誘導適応的注意集中法を提案する。これは微細なディテールを強調する局所注意には高い焦点係数を、構造的一貫性を保つ大域注意には低い係数を割り当てる手法である。実験では、3つの生成シナリオにおいて、UltraImageがQwen-ImageおよびFlux（約4K）で従来手法を一貫して上回り、繰り返しを軽減し視覚的忠実度を向上させることを示した。さらに、UltraImageは1328pの学習解像度から低解像度ガイダンスなしで6K*6Kまでの画像生成が可能であり、極限的外挿能力を実証している。プロジェクトページはhttps://thu-ml.github.io/ultraimage.github.io/で公開されている。

English

Recent image diffusion transformers achieve high-fidelity generation, but struggle to generate images beyond these scales, suffering from content repetition and quality degradation. In this work, we present UltraImage, a principled framework that addresses both issues. Through frequency-wise analysis of positional embeddings, we identify that repetition arises from the periodicity of the dominant frequency, whose period aligns with the training resolution. We introduce a recursive dominant frequency correction to constrain it within a single period after extrapolation. Furthermore, we find that quality degradation stems from diluted attention and thus propose entropy-guided adaptive attention concentration, which assigns higher focus factors to sharpen local attention for fine detail and lower ones to global attention patterns to preserve structural consistency. Experiments show that UltraImage consistently outperforms prior methods on Qwen-Image and Flux (around 4K) across three generation scenarios, reducing repetition and improving visual fidelity. Moreover, UltraImage can generate images up to 6K*6K without low-resolution guidance from a training resolution of 1328p, demonstrating its extreme extrapolation capability. Project page is available at https://thu-ml.github.io/ultraimage.github.io/{https://thu-ml.github.io/ultraimage.github.io/}.