Auto-récompense par Monte Carlo séquentiel pour modèles de langage à diffusion masquée

Self-Rewarding Sequential Monte Carlo for Masked Diffusion Language Models

February 2, 2026

papers.authors: Ziwei Luo, Ziqi Jin, Lei Wang, Lidong Bing, Thomas B. Schön

cs.AI

papers.abstract

Ce travail présente le SMC auto-récompensant (Sequential Monte Carlo), un algorithme de mise à l'échelle lors de l'inférence permettant un échantillonnage efficace des modèles de langage à diffusion masquée (MDLM). Notre algorithme découle de l'observation que la plupart des MDLM existants reposent sur une stratégie d'échantillonnage basée sur la confiance, où seuls les tokens présentant la plus haute confiance prédictive sont préservés à chaque étape. Cela restreint la génération à un paradigme de décodage glouton sensible au bruit, entraînant un effondrement inévitable de la diversité des trajectoires possibles. Nous résolvons ce problème en lançant en parallèle plusieurs processus de diffusion interactifs, appelés particules, pour l'exploration des trajectoires. Surtout, nous introduisons la confiance au niveau de la trajectoire comme signal d'auto-récompense pour attribuer des poids d'importance aux particules. Durant l'échantillonnage, les particules sont itérativement pondérées et rééchantillonnées pour orienter systématiquement la génération vers des échantillons de haute qualité et globalement confiants. Notre SMC auto-récompensant est validé sur divers modèles de langage à diffusion masquée et benchmarks, obtenant une amélioration significative sans entraînement supplémentaire ni guide de récompense, tout en convertissant efficacement la capacité d'inférence parallèle en une qualité d'échantillonnage améliorée. Notre code est disponible à l'adresse https://github.com/Algolzw/self-rewarding-smc.

English

This work presents self-rewarding sequential Monte Carlo (SMC), an inference-time scaling algorithm enabling effective sampling of masked diffusion language models (MDLMs). Our algorithm stems from the observation that most existing MDLMs rely on a confidence-based sampling strategy, where only tokens with the highest prediction confidence are preserved at each step. This restricts the generation to a noise-sensitive, greedy decoding paradigm, resulting in an inevitable collapse in the diversity of possible paths. We address this problem by launching multiple interacting diffusion processes in parallel, referred to as particles, for trajectory exploration. Importantly, we introduce the trajectory-level confidence as a self-rewarding signal for assigning particle importance weights. During sampling, particles are iteratively weighted and resampled to systematically steer generation towards globally confident, high-quality samples. Our self-rewarding SMC is verified on various masked diffusion language models and benchmarks, achieving significant improvement without extra training or reward guidance, while effectively converting parallel inference capacity into improved sampling quality. Our code is available at https://github.com/Algolzw/self-rewarding-smc.