papers.description
Diffusionsmodelle haben Schwierigkeiten, über ihre Trainingsauflösungen hinaus zu skalieren, da das direkte Sampling in hoher Auflösung langsam und kostspielig ist, während die nachträgliche Bildsuperauflösung (Image Super-Resolution, ISR) Artefakte und zusätzliche Latenz durch die Operation nach der Dekodierung einführt. Wir präsentieren den Latent Upscaler Adapter (LUA), ein leichtgewichtiges Modul, das die Superauflösung direkt auf dem latenten Code des Generators vor dem finalen VAE-Dekodierungsschritt durchführt. LUA integriert sich als Drop-in-Komponente, erfordert keine Modifikationen des Basismodells oder zusätzliche Diffusionsstufen und ermöglicht die Synthese in hoher Auflösung durch einen einzigen Vorwärtsdurchlauf im latenten Raum. Ein gemeinsamer Swin-Stil-Backbone mit skalienspezifischen Pixel-Shuffle-Köpfen unterstützt 2x- und 4x-Faktoren und bleibt kompatibel mit Bildraum-SR-Baselines, wodurch eine vergleichbare wahrgenommene Qualität bei nahezu 3x geringerer Dekodierungs- und Upscaling-Zeit erreicht wird (nur +0,42 s für die 1024 px-Generierung aus 512 px im Vergleich zu 1,87 s für Pixelraum-SR unter Verwendung derselben SwinIR-Architektur). Darüber hinaus zeigt LUA eine starke Generalisierung über die latenten Räume verschiedener VAEs, was die einfache Bereitstellung ohne Neutraining von Grund auf für jeden neuen Decoder ermöglicht. Umfangreiche Experimente zeigen, dass LUA die Qualität der nativen Hochauflösungsgenerierung eng erreicht und gleichzeitig einen praktischen und effizienten Weg zur skalierbaren, hochqualitativen Bildsynthese in modernen Diffusionspipelines bietet.