Super-résolution dans l'espace latent pour la génération d'images à plus haute résolution avec des modèles de diffusion

Latent Space Super-Resolution for Higher-Resolution Image Generation with Diffusion Models

March 24, 2025

Auteurs: Jinho Jeong, Sangmin Han, Jinwoo Kim, Seon Joo Kim

cs.AI

Résumé

Dans cet article, nous proposons LSRNA, un nouveau cadre pour la génération d'images à haute résolution (dépassant 1K) en utilisant des modèles de diffusion en exploitant la super-résolution directement dans l'espace latent. Les modèles de diffusion existants éprouvent des difficultés à dépasser les résolutions pour lesquelles ils ont été entraînés, ce qui entraîne souvent des distorsions structurelles ou des répétitions de contenu. Les méthodes basées sur des références abordent ces problèmes en suréchantillonnant une référence à basse résolution pour guider la génération à plus haute résolution. Cependant, elles rencontrent des défis majeurs : le suréchantillonnage dans l'espace latent provoque souvent une déviation de la variété, ce qui dégrade la qualité de la sortie. D'autre part, le suréchantillonnage dans l'espace RGB tend à produire des sorties excessivement lissées. Pour surmonter ces limitations, LSRNA combine la Super-Résolution dans l'Espace Latent (LSR) pour l'alignement de la variété et l'Ajout de Bruit par Région (RNA) pour améliorer les détails à haute fréquence. Nos expériences approfondies démontrent que l'intégration de LSRNA surpasse les méthodes basées sur des références de pointe à travers diverses résolutions et métriques, tout en montrant le rôle crucial du suréchantillonnage dans l'espace latent pour préserver les détails et la netteté. Le code est disponible à l'adresse https://github.com/3587jjh/LSRNA.

English

In this paper, we propose LSRNA, a novel framework for higher-resolution (exceeding 1K) image generation using diffusion models by leveraging super-resolution directly in the latent space. Existing diffusion models struggle with scaling beyond their training resolutions, often leading to structural distortions or content repetition. Reference-based methods address the issues by upsampling a low-resolution reference to guide higher-resolution generation. However, they face significant challenges: upsampling in latent space often causes manifold deviation, which degrades output quality. On the other hand, upsampling in RGB space tends to produce overly smoothed outputs. To overcome these limitations, LSRNA combines Latent space Super-Resolution (LSR) for manifold alignment and Region-wise Noise Addition (RNA) to enhance high-frequency details. Our extensive experiments demonstrate that integrating LSRNA outperforms state-of-the-art reference-based methods across various resolutions and metrics, while showing the critical role of latent space upsampling in preserving detail and sharpness. The code is available at https://github.com/3587jjh/LSRNA.