Almoço Grátis para Pass@k? Amostragem Diversificada de Baixo Custo para Modelos de Linguagem de Difusão

Free Lunch for Pass@k? Low Cost Diverse Sampling for Diffusion Language Models

March 5, 2026

Autores: Sean Lamont, Christian Walder, Paul Montague, Amir Dezfouli, Michael Norrish

cs.AI

Resumo

Saídas diversas na geração de texto são necessárias para uma exploração eficaz em tarefas de raciocínio complexo, como geração de código e resolução de problemas matemáticos. Problemas do tipo Pass@k beneficiam de candidatos distintos que cobrem o espaço de soluções. No entanto, as abordagens de amostragem tradicionais frequentemente desperdiçam recursos computacionais em modos de falha repetitivos. Embora os Modelos de Linguagem de Difusão tenham surgido como uma alternativa competitiva ao paradigma Autoregressivo predominante, eles permanecem suscetíveis a essa redundância, com amostras independentes frequentemente colapsando em modos semelhantes. Para resolver isso, propomos uma intervenção de baixo custo e sem necessidade de treinamento para melhorar a diversidade generativa em Modelos de Linguagem de Difusão. Nossa abordagem modifica sequencialmente amostras intermediárias em um lote, onde cada amostra é repelida do espaço de características das amostras anteriores, penalizando ativamente a redundância. Diferente de métodos anteriores que exigem retreinamento ou busca por feixe, nossa estratégia incorre em sobrecarga computacional insignificante, garantindo que cada amostra contribua com uma perspetiva única para o lote. Avaliamos nosso método nos benchmarks HumanEval e GSM8K usando o modelo LLaDA-8B-Instruct. Nossos resultados demonstram uma diversidade e desempenho Pass@k significativamente melhorados em várias configurações de temperatura. Como uma modificação simples no processo de amostragem, nosso método oferece uma melhoria imediata e de baixo custo para os atuais e futuros Modelos de Linguagem de Difusão em tarefas que beneficiam de uma busca diversificada por soluções. Disponibilizamos nosso código em https://github.com/sean-lamont/odd.

English

Diverse outputs in text generation are necessary for effective exploration in complex reasoning tasks, such as code generation and mathematical problem solving. Such Pass@k problems benefit from distinct candidates covering the solution space. However, traditional sampling approaches often waste computational resources on repetitive failure modes. While Diffusion Language Models have emerged as a competitive alternative to the prevailing Autoregressive paradigm, they remain susceptible to this redundancy, with independent samples frequently collapsing into similar modes. To address this, we propose a training free, low cost intervention to enhance generative diversity in Diffusion Language Models. Our approach modifies intermediate samples in a batch sequentially, where each sample is repelled from the feature space of previous samples, actively penalising redundancy. Unlike prior methods that require retraining or beam search, our strategy incurs negligible computational overhead, while ensuring that each sample contributes a unique perspective to the batch. We evaluate our method on the HumanEval and GSM8K benchmarks using the LLaDA-8B-Instruct model. Our results demonstrate significantly improved diversity and Pass@k performance across various temperature settings. As a simple modification to the sampling process, our method offers an immediate, low-cost improvement for current and future Diffusion Language Models in tasks that benefit from diverse solution search. We make our code available at https://github.com/sean-lamont/odd.