Ψ-Sampler: Initiale Partikelabtastung für SMC-basierte Inferenzzeit-Reward-Ausrichtung in Score-Modellen

Ψ-Sampler: Initial Particle Sampling for SMC-Based Inference-Time Reward Alignment in Score Models

June 2, 2025

Autoren: Taehoon Yoon, Yunhong Min, Kyeongmin Yeo, Minhyuk Sung

cs.AI

Zusammenfassung

Wir stellen Psi-Sampler vor, ein SMC-basiertes Framework, das eine pCNL-basierte Initialpartikel-Sampling-Methode für eine effektive Inferenzzeit-Belohnungsausrichtung mit einem score-basierten generativen Modell integriert. Die Inferenzzeit-Belohnungsausrichtung mit score-basierten generativen Modellen hat in letzter Zeit erheblich an Bedeutung gewonnen, im Zuge eines breiteren Paradigmenwechsels von der Vor- zur Nachtrainingsoptimierung. Kern dieses Trends ist die Anwendung von Sequential Monte Carlo (SMC) auf den Denoising-Prozess. Bisherige Methoden initialisieren Partikel jedoch typischerweise aus der Gaußschen Prior-Verteilung, die belohnungsrelevante Regionen unzureichend erfasst und zu einer reduzierten Sampling-Effizienz führt. Wir zeigen, dass die Initialisierung aus der belohnungsbewussten Posterior-Verteilung die Ausrichtungsleistung signifikant verbessert. Um Posterior-Sampling in hochdimensionalen latenten Räumen zu ermöglichen, führen wir den präkonditionierten Crank-Nicolson-Langevin (pCNL)-Algorithmus ein, der dimensionsrobuste Vorschläge mit gradienteninformierter Dynamik kombiniert. Dieser Ansatz ermöglicht effizientes und skalierbares Posterior-Sampling und verbessert die Leistung kontinuierlich über verschiedene Belohnungsausrichtungsaufgaben hinweg, einschließlich Layout-zu-Bild-Generierung, mengenbewusste Generierung und ästhetische Präferenzgenerierung, wie in unseren Experimenten gezeigt wird.

English

We introduce Psi-Sampler, an SMC-based framework incorporating pCNL-based initial particle sampling for effective inference-time reward alignment with a score-based generative model. Inference-time reward alignment with score-based generative models has recently gained significant traction, following a broader paradigm shift from pre-training to post-training optimization. At the core of this trend is the application of Sequential Monte Carlo (SMC) to the denoising process. However, existing methods typically initialize particles from the Gaussian prior, which inadequately captures reward-relevant regions and results in reduced sampling efficiency. We demonstrate that initializing from the reward-aware posterior significantly improves alignment performance. To enable posterior sampling in high-dimensional latent spaces, we introduce the preconditioned Crank-Nicolson Langevin (pCNL) algorithm, which combines dimension-robust proposals with gradient-informed dynamics. This approach enables efficient and scalable posterior sampling and consistently improves performance across various reward alignment tasks, including layout-to-image generation, quantity-aware generation, and aesthetic-preference generation, as demonstrated in our experiments.