Selbstbelohnendes Sequentielles Monte-Carlo für maskierte Diffusionssprachmodelle

Self-Rewarding Sequential Monte Carlo for Masked Diffusion Language Models

February 2, 2026

papers.authors: Ziwei Luo, Ziqi Jin, Lei Wang, Lidong Bing, Thomas B. Schön

cs.AI

papers.abstract

Diese Arbeit stellt Self-Rewarding Sequential Monte Carlo (SMC) vor, einen Inferenzzeit-Skalierungsalgorithmus, der eine effektive Stichprobenentnahme von maskierten Diffusions-Sprachmodellen (MDLMs) ermöglicht. Unser Algorithmus basiert auf der Beobachtung, dass die meisten existierenden MDLMs auf einer konfidenzbasierten Sampling-Strategie beruhen, bei der in jedem Schritt nur Token mit der höchsten Vorhersagekonfidenz beibehalten werden. Dies beschränkt die Generierung auf ein rauschempfindliches, gieriges Dekodierungsparadigma, was zu einem unvermeidlichen Kollaps der Vielfalt möglicher Pfade führt. Wir adressieren dieses Problem, indem wir mehrere interagierende Diffusionsprozesse parallel starten, sogenannte Partikel, zur Trajektorienexploration. Von entscheidender Bedeutung ist, dass wir die Trajektorien-Konfidenz als selbstbelohnendes Signal zur Zuweisung von Partikel-Gewichtungen einführen. Während des Samplings werden Partikel iterativ gewichtet und neu abgetastet, um die Generierung systematisch in Richtung global konfidenter, hochwertiger Stichproben zu lenken. Unser Self-Rewarding SMC wird an verschiedenen maskierten Diffusions-Sprachmodellen und Benchmarks verifiziert und erzielt signifikante Verbesserungen ohne zusätzliches Training oder Belohnungsführung, während es gleichzeitig die parallele Inferenzkapazität effektiv in verbesserte Sampling-Qualität umwandelt. Unser Code ist verfügbar unter https://github.com/Algolzw/self-rewarding-smc.

English

This work presents self-rewarding sequential Monte Carlo (SMC), an inference-time scaling algorithm enabling effective sampling of masked diffusion language models (MDLMs). Our algorithm stems from the observation that most existing MDLMs rely on a confidence-based sampling strategy, where only tokens with the highest prediction confidence are preserved at each step. This restricts the generation to a noise-sensitive, greedy decoding paradigm, resulting in an inevitable collapse in the diversity of possible paths. We address this problem by launching multiple interacting diffusion processes in parallel, referred to as particles, for trajectory exploration. Importantly, we introduce the trajectory-level confidence as a self-rewarding signal for assigning particle importance weights. During sampling, particles are iteratively weighted and resampled to systematically steer generation towards globally confident, high-quality samples. Our self-rewarding SMC is verified on various masked diffusion language models and benchmarks, achieving significant improvement without extra training or reward guidance, while effectively converting parallel inference capacity into improved sampling quality. Our code is available at https://github.com/Algolzw/self-rewarding-smc.