Super-Resolução no Espaço Latente para Geração de Imagens de Alta Resolução com Modelos de Difusão

Latent Space Super-Resolution for Higher-Resolution Image Generation with Diffusion Models

March 24, 2025

Autores: Jinho Jeong, Sangmin Han, Jinwoo Kim, Seon Joo Kim

cs.AI

Resumo

Neste artigo, propomos o LSRNA, uma nova estrutura para geração de imagens de alta resolução (superior a 1K) utilizando modelos de difusão, aproveitando a super-resolução diretamente no espaço latente. Os modelos de difusão existentes enfrentam dificuldades ao escalar além de suas resoluções de treinamento, frequentemente resultando em distorções estruturais ou repetição de conteúdo. Métodos baseados em referência abordam esses problemas ao ampliar uma referência de baixa resolução para guiar a geração de imagens de alta resolução. No entanto, eles enfrentam desafios significativos: a ampliação no espaço latente frequentemente causa desvio na variedade, o que degrada a qualidade da saída. Por outro lado, a ampliação no espaço RGB tende a produzir saídas excessivamente suavizadas. Para superar essas limitações, o LSRNA combina Super-Resolução no Espaço Latente (LSR) para alinhamento da variedade e Adição de Ruído por Região (RNA) para aprimorar detalhes de alta frequência. Nossos extensos experimentos demonstram que a integração do LSRNA supera os métodos baseados em referência mais avançados em várias resoluções e métricas, enquanto destaca o papel crucial da ampliação no espaço latente na preservação de detalhes e nitidez. O código está disponível em https://github.com/3587jjh/LSRNA.

English

In this paper, we propose LSRNA, a novel framework for higher-resolution (exceeding 1K) image generation using diffusion models by leveraging super-resolution directly in the latent space. Existing diffusion models struggle with scaling beyond their training resolutions, often leading to structural distortions or content repetition. Reference-based methods address the issues by upsampling a low-resolution reference to guide higher-resolution generation. However, they face significant challenges: upsampling in latent space often causes manifold deviation, which degrades output quality. On the other hand, upsampling in RGB space tends to produce overly smoothed outputs. To overcome these limitations, LSRNA combines Latent space Super-Resolution (LSR) for manifold alignment and Region-wise Noise Addition (RNA) to enhance high-frequency details. Our extensive experiments demonstrate that integrating LSRNA outperforms state-of-the-art reference-based methods across various resolutions and metrics, while showing the critical role of latent space upsampling in preserving detail and sharpness. The code is available at https://github.com/3587jjh/LSRNA.