L2P: Het ontsluiten van latent potentieel voor pixelgeneratie

Samenvatting

Pixel-diffusiemodellen hebben recentelijk opnieuw aandacht gekregen voor visuele generatie. Het trainen van geavanceerde pixelruimtemodellen vanaf nul vereist echter buitensporige reken- en databronnen. Om dit aan te pakken, stellen we het Latent-to-Pixel (L2P)-transferparadigma voor, een efficiënt raamwerk dat direct de rijke kennis van voorgetrainde LDM's benut om krachtige pixelruimtemodellen te bouwen. Specifiek laat L2P de VAE vallen ten gunste van tokenisatie met grote patches en bevriest de tussenliggende lagen van de bron-LDM, waarbij alleen ondiepe lagen worden getraind om de latent-naar-pixeltransformatie te leren. Door gebruik te maken van LDM-gegenereerde synthetische afbeeldingen als enige trainingscorpus, past L2P een reeds gladde datamanifold aan, wat snelle convergentie mogelijk maakt zonder verzameling van echte data. Deze strategie stelt L2P in staat om naadloos massieve latente priors naar de pixelruimte te migreren met slechts 8 GPU's. Bovendien maakt het elimineren van de VAE-geheugenknelpunt native 4K-ultrahoge-resolutiegeneratie mogelijk. Uitgebreide experimenten met mainstream LDM-architecturen tonen aan dat L2P een verwaarloosbare trainingsoverhead met zich meebrengt, maar toch even goed presteert als de bron-LDM op DPG-Bench en 93% van de prestatie op GenEval bereikt.

English

Pixel diffusion models have recently regained attention for visual generation. However, training advanced pixel-space models from scratch demands prohibitive computational and data resources. To address this, we propose the Latent-to-Pixel (L2P) transfer paradigm, an efficient framework that directly harnesses the rich knowledge of pre-trained LDMs to build powerful pixel-space models. Specifically, L2P discards the VAE in favor of large-patch tokenization and freezes the source LDM's intermediate layers, exclusively training shallow layers to learn the latent-to-pixel transformation. By utilizing LDM-generated synthetic images as the sole training corpus, L2P fits an already smooth data manifold, enabling rapid convergence with zero real-data collection. This strategy allows L2P to seamlessly migrate massive latent priors to the pixel space using only 8 GPUs. Furthermore, eliminating the VAE memory bottleneck unlocks native 4K ultra-high resolution generation. Extensive experiments across mainstream LDM architectures show that L2P incurs negligible training overhead, yet performs on par with the source LDM on DPG-Bench and reaches 93% performance on GenEval.