Бесплатный обед для Pass@k? Низкозатратное разнообразное сэмплирование для диффузионных языковых моделей

Free Lunch for Pass@k? Low Cost Diverse Sampling for Diffusion Language Models

March 5, 2026

Авторы: Sean Lamont, Christian Walder, Paul Montague, Amir Dezfouli, Michael Norrish

cs.AI

Аннотация

Разнообразие выходных данных в генерации текста необходимо для эффективного исследования в сложных задачах логического рассуждения, таких как генерация кода и решение математических задач. Подобные задачи Pass@k выигрывают от наличия различных кандидатов, покрывающих пространство решений. Однако традиционные подходы к сэмплированию часто тратят вычислительные ресурсы на повторяющиеся режимы сбоев. Хотя диффузионные языковые модели стали конкурентоспособной альтернативой преобладающей авторегрессионной парадигме, они остаются подверженными этой избыточности, когда независимые сэмплы часто схлопываются в схожие режимы. Для решения этой проблемы мы предлагаем бесплатное с точки зрения обучения и малозатратное вмешательство для повышения генеративного разнообразия в диффузионных языковых моделях. Наш подход последовательно модифицирует промежуточные сэмплы в батче, где каждый сэмпл отталкивается от пространства признаков предыдущих сэмплов, активно штрафуя избыточность. В отличие от предыдущих методов, требующих переобучения или поиска по лучу, наша стратегия влечет незначительные вычислительные накладные расходы, гарантируя, что каждый сэмпл вносит уникальную перспективу в батч. Мы оцениваем наш метод на бенчмарках HumanEval и GSM8K, используя модель LLaDA-8B-Instruct. Наши результаты демонстрируют значительное улучшение разнообразия и производительности Pass@k при различных настройках температуры. Как простая модификация процесса сэмплирования, наш метод предлагает немедленное, малозатратное улучшение для текущих и будущих диффузионных языковых моделей в задачах, выигрывающих от разнообразного поиска решений. Наш код доступен по адресу https://github.com/sean-lamont/odd.

English

Diverse outputs in text generation are necessary for effective exploration in complex reasoning tasks, such as code generation and mathematical problem solving. Such Pass@k problems benefit from distinct candidates covering the solution space. However, traditional sampling approaches often waste computational resources on repetitive failure modes. While Diffusion Language Models have emerged as a competitive alternative to the prevailing Autoregressive paradigm, they remain susceptible to this redundancy, with independent samples frequently collapsing into similar modes. To address this, we propose a training free, low cost intervention to enhance generative diversity in Diffusion Language Models. Our approach modifies intermediate samples in a batch sequentially, where each sample is repelled from the feature space of previous samples, actively penalising redundancy. Unlike prior methods that require retraining or beam search, our strategy incurs negligible computational overhead, while ensuring that each sample contributes a unique perspective to the batch. We evaluate our method on the HumanEval and GSM8K benchmarks using the LLaDA-8B-Instruct model. Our results demonstrate significantly improved diversity and Pass@k performance across various temperature settings. As a simple modification to the sampling process, our method offers an immediate, low-cost improvement for current and future Diffusion Language Models in tasks that benefit from diverse solution search. We make our code available at https://github.com/sean-lamont/odd.