UltraImage: Repensando a Extrapolação de Resolução em Transformadores de Difusão de Imagem
UltraImage: Rethinking Resolution Extrapolation in Image Diffusion Transformers
December 4, 2025
Autores: Min Zhao, Bokai Yan, Xue Yang, Hongzhou Zhu, Jintao Zhang, Shilong Liu, Chongxuan Li, Jun Zhu
cs.AI
Resumo
Os transformadores de difusão de imagem recentes alcançam geração de alta fidelidade, mas lutam para gerar imagens além dessas escalas, sofrendo com repetição de conteúdo e degradação de qualidade. Neste trabalho, apresentamos o UltraImage, uma estrutura fundamentada que aborda ambas as questões. Através da análise das incorporações posicionais no domínio da frequência, identificamos que a repetição surge da periodicidade da frequência dominante, cujo período coincide com a resolução de treinamento. Introduzimos uma correção recursiva da frequência dominante para restringi-la a um único período após a extrapolação. Além disso, descobrimos que a degradação da qualidade origina-se da diluição da atenção e, portanto, propomos uma concentração adaptativa de atenção guiada por entropia, que atribui fatores de foco mais altos para aguçar a atenção local para detalhes finos e mais baixos para os padrões de atenção global, a fim de preservar a consistência estrutural. Experimentos mostram que o UltraImage supera consistentemente métodos anteriores no Qwen-Image e no Flux (cerca de 4K) em três cenários de geração, reduzindo a repetição e melhorando a fidelidade visual. Além disso, o UltraImage pode gerar imagens de até 6K*6K sem orientação de baixa resolução a partir de uma resolução de treinamento de 1328p, demonstrando sua capacidade extrema de extrapolação. A página do projeto está disponível em https://thu-ml.github.io/ultraimage.github.io/.
English
Recent image diffusion transformers achieve high-fidelity generation, but struggle to generate images beyond these scales, suffering from content repetition and quality degradation. In this work, we present UltraImage, a principled framework that addresses both issues. Through frequency-wise analysis of positional embeddings, we identify that repetition arises from the periodicity of the dominant frequency, whose period aligns with the training resolution. We introduce a recursive dominant frequency correction to constrain it within a single period after extrapolation. Furthermore, we find that quality degradation stems from diluted attention and thus propose entropy-guided adaptive attention concentration, which assigns higher focus factors to sharpen local attention for fine detail and lower ones to global attention patterns to preserve structural consistency. Experiments show that UltraImage consistently outperforms prior methods on Qwen-Image and Flux (around 4K) across three generation scenarios, reducing repetition and improving visual fidelity. Moreover, UltraImage can generate images up to 6K*6K without low-resolution guidance from a training resolution of 1328p, demonstrating its extreme extrapolation capability. Project page is available at https://thu-ml.github.io/ultraimage.github.io/{https://thu-ml.github.io/ultraimage.github.io/}.