Согласование латентных пространств с использованием априорных распределений на основе потоков

Aligning Latent Spaces with Flow Priors

June 5, 2025

Авторы: Yizhuo Li, Yuying Ge, Yixiao Ge, Ying Shan, Ping Luo

cs.AI

Аннотация

В данной статье представлен новый подход для согласования обучаемых латентных пространств с произвольными целевыми распределениями с использованием потоковых генеративных моделей в качестве априорных. Наш метод сначала предварительно обучает потоковую модель на целевых признаках, чтобы захватить лежащее в основе распределение. Затем эта фиксированная потоковая модель регулирует латентное пространство с помощью функции потерь согласования, которая переформулирует задачу согласования потоков, рассматривая латентные переменные как цели оптимизации. Мы формально доказываем, что минимизация этой функции потерь согласования создает вычислительно эффективный суррогатный критерий для максимизации вариационной нижней границы логарифмического правдоподобия латентных переменных при целевом распределении. Важно отметить, что предложенный метод устраняет необходимость в вычислительно затратных оценках правдоподобия и избегает решения обыкновенных дифференциальных уравнений в процессе оптимизации. В качестве доказательства концепции мы демонстрируем в контролируемых условиях, что ландшафт функции потерь согласования близко аппроксимирует отрицательное логарифмическое правдоподобие целевого распределения. Мы также подтверждаем эффективность нашего подхода в крупномасштабных экспериментах по генерации изображений на наборе данных ImageNet с различными целевыми распределениями, сопровождая их подробными обсуждениями и исследованиями влияния параметров. Благодаря теоретическому и эмпирическому обоснованию, наш подход открывает новые возможности для согласования латентных пространств.

English

This paper presents a novel framework for aligning learnable latent spaces to arbitrary target distributions by leveraging flow-based generative models as priors. Our method first pretrains a flow model on the target features to capture the underlying distribution. This fixed flow model subsequently regularizes the latent space via an alignment loss, which reformulates the flow matching objective to treat the latents as optimization targets. We formally prove that minimizing this alignment loss establishes a computationally tractable surrogate objective for maximizing a variational lower bound on the log-likelihood of latents under the target distribution. Notably, the proposed method eliminates computationally expensive likelihood evaluations and avoids ODE solving during optimization. As a proof of concept, we demonstrate in a controlled setting that the alignment loss landscape closely approximates the negative log-likelihood of the target distribution. We further validate the effectiveness of our approach through large-scale image generation experiments on ImageNet with diverse target distributions, accompanied by detailed discussions and ablation studies. With both theoretical and empirical validation, our framework paves a new way for latent space alignment.