Ψ-Сэмплер: Начальное сэмплирование частиц для выравнивания вознаграждения во время вывода на основе SMC в моделях счёта

Ψ-Sampler: Initial Particle Sampling for SMC-Based Inference-Time Reward Alignment in Score Models

June 2, 2025

Авторы: Taehoon Yoon, Yunhong Min, Kyeongmin Yeo, Minhyuk Sung

cs.AI

Аннотация

Мы представляем Psi-Sampler — фреймворк на основе Sequential Monte Carlo (SMC), который включает начальную выборку частиц с использованием метода preconditioned Crank-Nicolson Langevin (pCNL) для эффективного согласования вознаграждения на этапе вывода с генеративной моделью на основе оценок. Согласование вознаграждения на этапе вывода с генеративными моделями на основе оценок недавно приобрело значительную популярность, что соответствует более широкому сдвигу парадигмы от предварительного обучения к оптимизации после обучения. В основе этого тренда лежит применение Sequential Monte Carlo (SMC) к процессу удаления шума. Однако существующие методы обычно инициализируют частицы из гауссовского априорного распределения, что недостаточно точно захватывает области, релевантные вознаграждению, и приводит к снижению эффективности выборки. Мы показываем, что инициализация из апостериорного распределения, учитывающего вознаграждение, значительно улучшает производительность согласования. Для обеспечения выборки из апостериорного распределения в высокоразмерных латентных пространствах мы представляем алгоритм preconditioned Crank-Nicolson Langevin (pCNL), который сочетает устойчивые к размерности предложения с динамикой, учитывающей градиенты. Этот подход позволяет эффективно и масштабируемо проводить выборку из апостериорного распределения и последовательно улучшает производительность в различных задачах согласования вознаграждения, включая генерацию изображений на основе макета, генерацию с учетом количества и генерацию с учетом эстетических предпочтений, что подтверждается нашими экспериментами.

English

We introduce Psi-Sampler, an SMC-based framework incorporating pCNL-based initial particle sampling for effective inference-time reward alignment with a score-based generative model. Inference-time reward alignment with score-based generative models has recently gained significant traction, following a broader paradigm shift from pre-training to post-training optimization. At the core of this trend is the application of Sequential Monte Carlo (SMC) to the denoising process. However, existing methods typically initialize particles from the Gaussian prior, which inadequately captures reward-relevant regions and results in reduced sampling efficiency. We demonstrate that initializing from the reward-aware posterior significantly improves alignment performance. To enable posterior sampling in high-dimensional latent spaces, we introduce the preconditioned Crank-Nicolson Langevin (pCNL) algorithm, which combines dimension-robust proposals with gradient-informed dynamics. This approach enables efficient and scalable posterior sampling and consistently improves performance across various reward alignment tasks, including layout-to-image generation, quantity-aware generation, and aesthetic-preference generation, as demonstrated in our experiments.