Monte Carlo Secuencial con Autorecompensa para Modelos de Difusión Enmascarados de Lenguaje

Self-Rewarding Sequential Monte Carlo for Masked Diffusion Language Models

February 2, 2026

Autores: Ziwei Luo, Ziqi Jin, Lei Wang, Lidong Bing, Thomas B. Schön

cs.AI

Resumen

Este trabajo presenta el método de Monte Carlo secuencial con autorrecompensa (SMC), un algoritmo de escalado en tiempo de inferencia que permite un muestreo efectivo de modelos de lenguaje de difusión enmascarada (MDLM). Nuestro algoritmo surge de la observación de que la mayoría de los MDLM existentes se basan en una estrategia de muestreo basada en la confianza, donde solo se preservan los tokens con la mayor confianza predictiva en cada paso. Esto restringe la generación a un paradigma de decodificación codicioso y sensible al ruido, lo que resulta en un colapso inevitable de la diversidad de trayectorias posibles. Abordamos este problema lanzando múltiples procesos de difusión que interactúan en paralelo, denominados partículas, para la exploración de trayectorias. Es importante destacar que introducimos la confianza a nivel de trayectoria como una señal de autorrecompensa para asignar pesos de importancia a las partículas. Durante el muestreo, las partículas son ponderadas y remuestreadas iterativamente para dirigir sistemáticamente la generación hacia muestras globalmente confiables y de alta calidad. Nuestro SMC con autorrecompensa se verifica en varios modelos de lenguaje de difusión enmascarada y benchmarks, logrando una mejora significativa sin necesidad de entrenamiento adicional o guía de recompensas, mientras convierte efectivamente la capacidad de inferencia paralela en una mejora de la calidad del muestreo. Nuestro código está disponible en https://github.com/Algolzw/self-rewarding-smc.

English

This work presents self-rewarding sequential Monte Carlo (SMC), an inference-time scaling algorithm enabling effective sampling of masked diffusion language models (MDLMs). Our algorithm stems from the observation that most existing MDLMs rely on a confidence-based sampling strategy, where only tokens with the highest prediction confidence are preserved at each step. This restricts the generation to a noise-sensitive, greedy decoding paradigm, resulting in an inevitable collapse in the diversity of possible paths. We address this problem by launching multiple interacting diffusion processes in parallel, referred to as particles, for trajectory exploration. Importantly, we introduce the trajectory-level confidence as a self-rewarding signal for assigning particle importance weights. During sampling, particles are iteratively weighted and resampled to systematically steer generation towards globally confident, high-quality samples. Our self-rewarding SMC is verified on various masked diffusion language models and benchmarks, achieving significant improvement without extra training or reward guidance, while effectively converting parallel inference capacity into improved sampling quality. Our code is available at https://github.com/Algolzw/self-rewarding-smc.