Ψ-Sampler: Campionamento Iniziale delle Particelle per l'Allineamento della Ricompensa al Tempo di Inferenza Basato su SMC nei Modelli di Punteggio
Ψ-Sampler: Initial Particle Sampling for SMC-Based Inference-Time Reward Alignment in Score Models
June 2, 2025
Autori: Taehoon Yoon, Yunhong Min, Kyeongmin Yeo, Minhyuk Sung
cs.AI
Abstract
Presentiamo Psi-Sampler, un framework basato su SMC che incorpora un campionamento iniziale di particelle basato su pCNL per un allineamento efficace delle ricompense al momento dell'inferenza con un modello generativo basato su punteggi. L'allineamento delle ricompense al momento dell'inferenza con modelli generativi basati su punteggi ha recentemente guadagnato un'attenzione significativa, seguendo un più ampio cambiamento di paradigma dall'ottimizzazione pre-training a quella post-training. Al centro di questa tendenza c'è l'applicazione del Sequential Monte Carlo (SMC) al processo di denoising. Tuttavia, i metodi esistenti inizializzano tipicamente le particelle da una distribuzione gaussiana prior, che cattura in modo inadeguato le regioni rilevanti per la ricompensa e risulta in una ridotta efficienza di campionamento. Dimostriamo che l'inizializzazione dalla posterior consapevole della ricompansa migliora significativamente le prestazioni di allineamento. Per abilitare il campionamento della posterior in spazi latenti ad alta dimensionalità, introduciamo l'algoritmo preconditioned Crank-Nicolson Langevin (pCNL), che combina proposte robuste alla dimensionalità con dinamiche informate dal gradiente. Questo approccio consente un campionamento efficiente e scalabile della posterior e migliora costantemente le prestazioni in vari compiti di allineamento delle ricompense, tra cui la generazione da layout a immagine, la generazione consapevole della quantità e la generazione basata su preferenze estetiche, come dimostrato nei nostri esperimenti.
English
We introduce Psi-Sampler, an SMC-based framework incorporating pCNL-based
initial particle sampling for effective inference-time reward alignment with a
score-based generative model. Inference-time reward alignment with score-based
generative models has recently gained significant traction, following a broader
paradigm shift from pre-training to post-training optimization. At the core of
this trend is the application of Sequential Monte Carlo (SMC) to the denoising
process. However, existing methods typically initialize particles from the
Gaussian prior, which inadequately captures reward-relevant regions and results
in reduced sampling efficiency. We demonstrate that initializing from the
reward-aware posterior significantly improves alignment performance. To enable
posterior sampling in high-dimensional latent spaces, we introduce the
preconditioned Crank-Nicolson Langevin (pCNL) algorithm, which combines
dimension-robust proposals with gradient-informed dynamics. This approach
enables efficient and scalable posterior sampling and consistently improves
performance across various reward alignment tasks, including layout-to-image
generation, quantity-aware generation, and aesthetic-preference generation, as
demonstrated in our experiments.