Сверхразрешение в латентном пространстве для генерации изображений с более высоким разрешением с использованием диффузионных моделей

Latent Space Super-Resolution for Higher-Resolution Image Generation with Diffusion Models

March 24, 2025

Авторы: Jinho Jeong, Sangmin Han, Jinwoo Kim, Seon Joo Kim

cs.AI

Аннотация

В данной статье мы представляем LSRNA — новый фреймворк для генерации изображений с высоким разрешением (превышающим 1K) с использованием диффузионных моделей, применяя супер-разрешение непосредственно в латентном пространстве. Существующие диффузионные модели сталкиваются с трудностями при масштабировании за пределы их обучающих разрешений, что часто приводит к структурным искажениям или повторению контента. Методы, основанные на референсах, решают эти проблемы путем апскейлинга низкокачественного референса для управления генерацией изображений с более высоким разрешением. Однако они сталкиваются с существенными ограничениями: апскейлинг в латентном пространстве часто вызывает отклонение от многообразия, что ухудшает качество выходных данных. С другой стороны, апскейлинг в RGB-пространстве склонен создавать излишне сглаженные результаты. Чтобы преодолеть эти ограничения, LSRNA объединяет супер-разрешение в латентном пространстве (LSR) для выравнивания многообразия и региональное добавление шума (RNA) для улучшения высокочастотных деталей. Наши обширные эксперименты демонстрируют, что интеграция LSRNA превосходит современные методы, основанные на референсах, по различным разрешениям и метрикам, одновременно подчеркивая ключевую роль апскейлинга в латентном пространстве для сохранения деталей и резкости. Код доступен по адресу https://github.com/3587jjh/LSRNA.

English

In this paper, we propose LSRNA, a novel framework for higher-resolution (exceeding 1K) image generation using diffusion models by leveraging super-resolution directly in the latent space. Existing diffusion models struggle with scaling beyond their training resolutions, often leading to structural distortions or content repetition. Reference-based methods address the issues by upsampling a low-resolution reference to guide higher-resolution generation. However, they face significant challenges: upsampling in latent space often causes manifold deviation, which degrades output quality. On the other hand, upsampling in RGB space tends to produce overly smoothed outputs. To overcome these limitations, LSRNA combines Latent space Super-Resolution (LSR) for manifold alignment and Region-wise Noise Addition (RNA) to enhance high-frequency details. Our extensive experiments demonstrate that integrating LSRNA outperforms state-of-the-art reference-based methods across various resolutions and metrics, while showing the critical role of latent space upsampling in preserving detail and sharpness. The code is available at https://github.com/3587jjh/LSRNA.