Allineamento di Spazi Latenti tramite Prior di Flusso

Aligning Latent Spaces with Flow Priors

June 5, 2025

Autori: Yizhuo Li, Yuying Ge, Yixiao Ge, Ying Shan, Ping Luo

cs.AI

Abstract

Questo articolo presenta un nuovo framework per allineare spazi latenti apprendibili a distribuzioni target arbitrarie sfruttando modelli generativi basati su flussi come prior. Il nostro metodo prevede prima un pre-addestramento di un modello a flusso sulle caratteristiche target per catturare la distribuzione sottostante. Questo modello a flusso fissato regolarizza successivamente lo spazio latente attraverso una loss di allineamento, che riformula l'obiettivo di flusso corrispondente trattando i latenti come target di ottimizzazione. Dimostriamo formalmente che la minimizzazione di questa loss di allineamento stabilisce un obiettivo surrogato computazionalmente trattabile per massimizzare un limite inferiore variazionale sulla log-verosimiglianza dei latenti sotto la distribuzione target. In particolare, il metodo proposto elimina valutazioni computazionalmente costose della verosimiglianza ed evita la risoluzione di ODE durante l'ottimizzazione. Come prova concettuale, dimostriamo in un ambiente controllato che il panorama della loss di allineamento approssima strettamente la log-verosimiglianza negativa della distribuzione target. Validiamo ulteriormente l'efficacia del nostro approccio attraverso esperimenti su larga scala di generazione di immagini su ImageNet con diverse distribuzioni target, accompagnati da discussioni dettagliate e studi di ablazione. Con validazione sia teorica che empirica, il nostro framework apre una nuova strada per l'allineamento degli spazi latenti.

English

This paper presents a novel framework for aligning learnable latent spaces to arbitrary target distributions by leveraging flow-based generative models as priors. Our method first pretrains a flow model on the target features to capture the underlying distribution. This fixed flow model subsequently regularizes the latent space via an alignment loss, which reformulates the flow matching objective to treat the latents as optimization targets. We formally prove that minimizing this alignment loss establishes a computationally tractable surrogate objective for maximizing a variational lower bound on the log-likelihood of latents under the target distribution. Notably, the proposed method eliminates computationally expensive likelihood evaluations and avoids ODE solving during optimization. As a proof of concept, we demonstrate in a controlled setting that the alignment loss landscape closely approximates the negative log-likelihood of the target distribution. We further validate the effectiveness of our approach through large-scale image generation experiments on ImageNet with diverse target distributions, accompanied by detailed discussions and ablation studies. With both theoretical and empirical validation, our framework paves a new way for latent space alignment.