Самостоятельно вознаграждающий последовательный метод Монте-Карло для маскированных диффузионных языковых моделей

Self-Rewarding Sequential Monte Carlo for Masked Diffusion Language Models

February 2, 2026

Авторы: Ziwei Luo, Ziqi Jin, Lei Wang, Lidong Bing, Thomas B. Schön

cs.AI

Аннотация

В данной работе представлен метод последовательного Монте-Карло с самовознаграждением (self-rewarding SMC) — алгоритм масштабирования на этапе вывода, который обеспечивает эффективную выборку для маскированных диффузионных языковых моделей (MDLM). Наш алгоритм основан на наблюдении, что большинство существующих MDLM полагаются на стратегию выборки, основанную на уверенности, когда на каждом шаге сохраняются только токены с наивысшей прогнозируемой уверенностью. Это ограничивает генерацию шумочувствительной жадной парадигмой декодирования, что приводит к неизбежному коллапсу разнообразия возможных путей. Мы решаем эту проблему, запуская несколько взаимодействующих диффузионных процессов параллельно, называемых частицами, для исследования траекторий. Важно, что мы вводим траекторную уверенность в качестве сигнала самовознаграждения для назначения весов важности частиц. В процессе выборки частицы итеративно взвешиваются и перевыбираются для систематического направления генерации в сторону глобально уверенных, высококачественных образцов. Наш метод самовознаграждающего SMC проверен на различных маскированных диффузионных языковых моделях и бенчмарках, демонстрируя значительное улучшение без дополнительного обучения или руководства вознаграждением, при этом эффективно преобразуя возможности параллельного вывода в повышение качества выборки. Наш код доступен по адресу https://github.com/Algolzw/self-rewarding-smc.

English

This work presents self-rewarding sequential Monte Carlo (SMC), an inference-time scaling algorithm enabling effective sampling of masked diffusion language models (MDLMs). Our algorithm stems from the observation that most existing MDLMs rely on a confidence-based sampling strategy, where only tokens with the highest prediction confidence are preserved at each step. This restricts the generation to a noise-sensitive, greedy decoding paradigm, resulting in an inevitable collapse in the diversity of possible paths. We address this problem by launching multiple interacting diffusion processes in parallel, referred to as particles, for trajectory exploration. Importantly, we introduce the trajectory-level confidence as a self-rewarding signal for assigning particle importance weights. During sampling, particles are iteratively weighted and resampled to systematically steer generation towards globally confident, high-quality samples. Our self-rewarding SMC is verified on various masked diffusion language models and benchmarks, achieving significant improvement without extra training or reward guidance, while effectively converting parallel inference capacity into improved sampling quality. Our code is available at https://github.com/Algolzw/self-rewarding-smc.