Ausrichtung latenter Räume mit Fluss-Priors

Aligning Latent Spaces with Flow Priors

June 5, 2025

Autoren: Yizhuo Li, Yuying Ge, Yixiao Ge, Ying Shan, Ping Luo

cs.AI

Zusammenfassung

Dieses Papier stellt ein neuartiges Framework zur Ausrichtung lernbarer latenter Räume auf beliebige Zielverteilungen vor, indem flow-basierte generative Modelle als Prioritäten genutzt werden. Unsere Methode trainiert zunächst ein Flow-Modell auf den Zielmerkmalen vor, um die zugrunde liegende Verteilung zu erfassen. Dieses feste Flow-Modell regularisiert anschließend den latenten Raum über einen Ausrichtungsverlust, der das Flow-Matching-Ziel so umformuliert, dass die latenten Variablen als Optimierungsziele behandelt werden. Wir beweisen formal, dass die Minimierung dieses Ausrichtungsverlusts ein recheneffizientes Ersatzziel für die Maximierung einer unteren Schranke der Log-Likelihood der latenten Variablen unter der Zielverteilung darstellt. Bemerkenswerterweise eliminiert die vorgeschlagene Methode rechenintensive Likelihood-Bewertungen und vermeidet das Lösen von gewöhnlichen Differentialgleichungen während der Optimierung. Als Proof of Concept zeigen wir in einer kontrollierten Umgebung, dass die Landschaft des Ausrichtungsverlusts die negative Log-Likelihood der Zielverteilung eng approximiert. Wir validieren die Wirksamkeit unseres Ansatzes weiterhin durch groß angelegte Bildgenerierungsexperimente auf ImageNet mit diversen Zielverteilungen, begleitet von detaillierten Diskussionen und Ablationsstudien. Mit sowohl theoretischer als auch empirischer Validierung ebnet unser Framework einen neuen Weg für die Ausrichtung latenter Räume.

English

This paper presents a novel framework for aligning learnable latent spaces to arbitrary target distributions by leveraging flow-based generative models as priors. Our method first pretrains a flow model on the target features to capture the underlying distribution. This fixed flow model subsequently regularizes the latent space via an alignment loss, which reformulates the flow matching objective to treat the latents as optimization targets. We formally prove that minimizing this alignment loss establishes a computationally tractable surrogate objective for maximizing a variational lower bound on the log-likelihood of latents under the target distribution. Notably, the proposed method eliminates computationally expensive likelihood evaluations and avoids ODE solving during optimization. As a proof of concept, we demonstrate in a controlled setting that the alignment loss landscape closely approximates the negative log-likelihood of the target distribution. We further validate the effectiveness of our approach through large-scale image generation experiments on ImageNet with diverse target distributions, accompanied by detailed discussions and ablation studies. With both theoretical and empirical validation, our framework paves a new way for latent space alignment.