Alignement des espaces latents avec des a priori de flux

Aligning Latent Spaces with Flow Priors

June 5, 2025

Auteurs: Yizhuo Li, Yuying Ge, Yixiao Ge, Ying Shan, Ping Luo

cs.AI

Résumé

Cet article présente un cadre novateur pour aligner des espaces latents apprenables à des distributions cibles arbitraires en exploitant des modèles génératifs basés sur des flots comme a priori. Notre méthode commence par pré-entraîner un modèle de flot sur les caractéristiques cibles afin de capturer la distribution sous-jacente. Ce modèle de flot fixé régularise ensuite l'espace latent via une fonction de coût d'alignement, qui reformule l'objectif d'appariement de flots pour traiter les latents comme des cibles d'optimisation. Nous démontrons formellement que la minimisation de cette fonction de coût établit un objectif de substitution calculable pour maximiser une borne inférieure variationnelle sur la log-vraisemblance des latents sous la distribution cible. Notamment, la méthode proposée élimine les évaluations coûteuses en calcul de la vraisemblance et évite la résolution d'équations différentielles ordinaires pendant l'optimisation. À titre de preuve de concept, nous montrons dans un cadre contrôlé que le paysage de la fonction de coût d'alignement se rapproche étroitement de la log-vraisemblance négative de la distribution cible. Nous validons en outre l'efficacité de notre approche à travers des expériences de génération d'images à grande échelle sur ImageNet avec diverses distributions cibles, accompagnées de discussions détaillées et d'études d'ablation. Avec une validation à la fois théorique et empirique, notre cadre ouvre une nouvelle voie pour l'alignement des espaces latents.

English

This paper presents a novel framework for aligning learnable latent spaces to arbitrary target distributions by leveraging flow-based generative models as priors. Our method first pretrains a flow model on the target features to capture the underlying distribution. This fixed flow model subsequently regularizes the latent space via an alignment loss, which reformulates the flow matching objective to treat the latents as optimization targets. We formally prove that minimizing this alignment loss establishes a computationally tractable surrogate objective for maximizing a variational lower bound on the log-likelihood of latents under the target distribution. Notably, the proposed method eliminates computationally expensive likelihood evaluations and avoids ODE solving during optimization. As a proof of concept, we demonstrate in a controlled setting that the alignment loss landscape closely approximates the negative log-likelihood of the target distribution. We further validate the effectiveness of our approach through large-scale image generation experiments on ImageNet with diverse target distributions, accompanied by detailed discussions and ablation studies. With both theoretical and empirical validation, our framework paves a new way for latent space alignment.