Superresolución en el Espacio Latente para la Generación de Imágenes de Mayor Resolución con Modelos de Difusión

Latent Space Super-Resolution for Higher-Resolution Image Generation with Diffusion Models

March 24, 2025

Autores: Jinho Jeong, Sangmin Han, Jinwoo Kim, Seon Joo Kim

cs.AI

Resumen

En este artículo, proponemos LSRNA, un marco novedoso para la generación de imágenes de alta resolución (superior a 1K) utilizando modelos de difusión mediante el aprovechamiento de la super-resolución directamente en el espacio latente. Los modelos de difusión existentes tienen dificultades para escalar más allá de sus resoluciones de entrenamiento, lo que a menudo resulta en distorsiones estructurales o repetición de contenido. Los métodos basados en referencia abordan estos problemas aumentando la resolución de una referencia de baja resolución para guiar la generación de mayor resolución. Sin embargo, enfrentan desafíos significativos: el aumento de resolución en el espacio latente a menudo causa desviación de la variedad, lo que degrada la calidad de la salida. Por otro lado, el aumento de resolución en el espacio RGB tiende a producir salidas demasiado suavizadas. Para superar estas limitaciones, LSRNA combina Super-Resolución en el Espacio Latente (LSR) para la alineación de la variedad y Adición de Ruido por Regiones (RNA) para mejorar los detalles de alta frecuencia. Nuestros extensos experimentos demuestran que la integración de LSRNA supera a los métodos basados en referencia más avanzados en varias resoluciones y métricas, mientras muestra el papel crítico del aumento de resolución en el espacio latente para preservar el detalle y la nitidez. El código está disponible en https://github.com/3587jjh/LSRNA.

English

In this paper, we propose LSRNA, a novel framework for higher-resolution (exceeding 1K) image generation using diffusion models by leveraging super-resolution directly in the latent space. Existing diffusion models struggle with scaling beyond their training resolutions, often leading to structural distortions or content repetition. Reference-based methods address the issues by upsampling a low-resolution reference to guide higher-resolution generation. However, they face significant challenges: upsampling in latent space often causes manifold deviation, which degrades output quality. On the other hand, upsampling in RGB space tends to produce overly smoothed outputs. To overcome these limitations, LSRNA combines Latent space Super-Resolution (LSR) for manifold alignment and Region-wise Noise Addition (RNA) to enhance high-frequency details. Our extensive experiments demonstrate that integrating LSRNA outperforms state-of-the-art reference-based methods across various resolutions and metrics, while showing the critical role of latent space upsampling in preserving detail and sharpness. The code is available at https://github.com/3587jjh/LSRNA.