Ψ-Sampler : Échantillonnage initial de particules pour l'alignement des récompenses au moment de l'inférence basé sur SMC dans les modèles de score

Ψ-Sampler: Initial Particle Sampling for SMC-Based Inference-Time Reward Alignment in Score Models

June 2, 2025

Auteurs: Taehoon Yoon, Yunhong Min, Kyeongmin Yeo, Minhyuk Sung

cs.AI

Résumé

Nous présentons Psi-Sampler, un cadre basé sur SMC intégrant un échantillonnage initial de particules via pCNL pour un alignement efficace des récompenses au moment de l'inférence avec un modèle génératif basé sur les scores. L'alignement des récompenses au moment de l'inférence avec des modèles génératifs basés sur les scores a récemment gagné un intérêt considérable, s'inscrivant dans un changement de paradigme plus large passant de l'optimisation pré-entraînement à l'optimisation post-entraînement. Au cœur de cette tendance se trouve l'application du Monte Carlo séquentiel (SMC) au processus de débruitage. Cependant, les méthodes existantes initialisent généralement les particules à partir d'une distribution gaussienne a priori, ce qui capture insuffisamment les régions pertinentes pour les récompenses et entraîne une efficacité d'échantillonnage réduite. Nous démontrons qu'une initialisation à partir de la distribution a posteriori tenant compte des récompenses améliore significativement les performances d'alignement. Pour permettre l'échantillonnage a posteriori dans des espaces latents de haute dimension, nous introduisons l'algorithme de Langevin préconditionné de Crank-Nicolson (pCNL), qui combine des propositions robustes à la dimension avec une dynamique informée par le gradient. Cette approche permet un échantillonnage a posteriori efficace et scalable, et améliore systématiquement les performances dans diverses tâches d'alignement des récompenses, notamment la génération d'images à partir de mises en page, la génération prenant en compte des quantités, et la génération selon des préférences esthétiques, comme le démontrent nos expériences.

English

We introduce Psi-Sampler, an SMC-based framework incorporating pCNL-based initial particle sampling for effective inference-time reward alignment with a score-based generative model. Inference-time reward alignment with score-based generative models has recently gained significant traction, following a broader paradigm shift from pre-training to post-training optimization. At the core of this trend is the application of Sequential Monte Carlo (SMC) to the denoising process. However, existing methods typically initialize particles from the Gaussian prior, which inadequately captures reward-relevant regions and results in reduced sampling efficiency. We demonstrate that initializing from the reward-aware posterior significantly improves alignment performance. To enable posterior sampling in high-dimensional latent spaces, we introduce the preconditioned Crank-Nicolson Langevin (pCNL) algorithm, which combines dimension-robust proposals with gradient-informed dynamics. This approach enables efficient and scalable posterior sampling and consistently improves performance across various reward alignment tasks, including layout-to-image generation, quantity-aware generation, and aesthetic-preference generation, as demonstrated in our experiments.