고해상도 이미지 생성을 위한 잠재 공간 초해상도와 확산 모델

Latent Space Super-Resolution for Higher-Resolution Image Generation with Diffusion Models

March 24, 2025

저자: Jinho Jeong, Sangmin Han, Jinwoo Kim, Seon Joo Kim

cs.AI

초록

본 논문에서는 잠재 공간에서의 초해상도(super-resolution)를 직접 활용하여 1K를 초고해상도 이미지 생성을 위한 새로운 프레임워크인 LSRNA를 제안합니다. 기존의 확산 모델(diffusion models)은 학습 해상도를 넘어 확장하는 데 어려움을 겪으며, 종종 구조적 왜곡이나 내용 반복을 초래합니다. 참조 기반 방법(reference-based methods)은 저해상도 참조를 업샘플링하여 고해상도 생성을 안내함으로써 이러한 문제를 해결합니다. 그러나 이러한 방법들은 잠재 공간에서의 업샘플링이 매니폴드 편차(manifold deviation)를 유발하여 출력 품질을 저하시키는 중요한 문제에 직면합니다. 반면, RGB 공간에서의 업샘플링은 지나치게 부드러운 출력을 생성하는 경향이 있습니다. 이러한 한계를 극복하기 위해 LSRNA는 매니폴드 정렬을 위한 잠재 공간 초해상도(Latent space Super-Resolution, LSR)와 고주파 세부 정보를 강화하기 위한 영역별 노이즈 추가(Region-wise Noise Addition, RNA)를 결합합니다. 우리의 광범위한 실험 결과, LSRNA를 통합한 방법이 다양한 해상도와 메트릭에서 최신 참조 기반 방법들을 능가하며, 세부 정보와 선명도를 보존하는 데 있어 잠재 공간 업샘플링의 중요한 역할을 입증합니다. 코드는 https://github.com/3587jjh/LSRNA에서 확인할 수 있습니다.

English

In this paper, we propose LSRNA, a novel framework for higher-resolution (exceeding 1K) image generation using diffusion models by leveraging super-resolution directly in the latent space. Existing diffusion models struggle with scaling beyond their training resolutions, often leading to structural distortions or content repetition. Reference-based methods address the issues by upsampling a low-resolution reference to guide higher-resolution generation. However, they face significant challenges: upsampling in latent space often causes manifold deviation, which degrades output quality. On the other hand, upsampling in RGB space tends to produce overly smoothed outputs. To overcome these limitations, LSRNA combines Latent space Super-Resolution (LSR) for manifold alignment and Region-wise Noise Addition (RNA) to enhance high-frequency details. Our extensive experiments demonstrate that integrating LSRNA outperforms state-of-the-art reference-based methods across various resolutions and metrics, while showing the critical role of latent space upsampling in preserving detail and sharpness. The code is available at https://github.com/3587jjh/LSRNA.