Latente Ruimtes Uitlijnen met Stroom Priors

Aligning Latent Spaces with Flow Priors

June 5, 2025

Auteurs: Yizhuo Li, Yuying Ge, Yixiao Ge, Ying Shan, Ping Luo

cs.AI

Samenvatting

Dit artikel presenteert een nieuw raamwerk voor het uitlijnen van leerbare latente ruimtes naar willekeurige doeldistributies door gebruik te maken van flow-gebaseerde generatieve modellen als a priori. Onze methode traint eerst een flow-model voor op de doelkenmerken om de onderliggende distributie vast te leggen. Dit vaste flow-model regulariseert vervolgens de latente ruimte via een uitlijningsverlies, dat het flow-matching doel herformuleert om de latente variabelen als optimalisatiedoelen te behandelen. We bewijzen formeel dat het minimaliseren van dit uitlijningsverlies een computationeel hanteerbaar surrogaatdoel oplevert voor het maximaliseren van een variatieel ondergrens op de log-waarschijnlijkheid van latente variabelen onder de doeldistributie. Opmerkelijk is dat de voorgestelde methode computationeel dure waarschijnlijkheidsevaluaties elimineert en het oplossen van ODE's tijdens de optimalisatie vermijdt. Als proof of concept tonen we in een gecontroleerde setting aan dat het uitlijningsverlieslandschap nauw aansluit bij de negatieve log-waarschijnlijkheid van de doeldistributie. We valideren verder de effectiviteit van onze aanpak door grootschalige beeldgeneratie-experimenten op ImageNet met diverse doeldistributies, vergezeld van gedetailleerde discussies en ablatiestudies. Met zowel theoretische als empirische validatie baant ons raamwerk een nieuwe weg voor het uitlijnen van latente ruimtes.

English

This paper presents a novel framework for aligning learnable latent spaces to arbitrary target distributions by leveraging flow-based generative models as priors. Our method first pretrains a flow model on the target features to capture the underlying distribution. This fixed flow model subsequently regularizes the latent space via an alignment loss, which reformulates the flow matching objective to treat the latents as optimization targets. We formally prove that minimizing this alignment loss establishes a computationally tractable surrogate objective for maximizing a variational lower bound on the log-likelihood of latents under the target distribution. Notably, the proposed method eliminates computationally expensive likelihood evaluations and avoids ODE solving during optimization. As a proof of concept, we demonstrate in a controlled setting that the alignment loss landscape closely approximates the negative log-likelihood of the target distribution. We further validate the effectiveness of our approach through large-scale image generation experiments on ImageNet with diverse target distributions, accompanied by detailed discussions and ablation studies. With both theoretical and empirical validation, our framework paves a new way for latent space alignment.