Repas gratuit pour Pass@k ? Échantillonnage diversifié à faible coût pour les modèles de langage par diffusion

Free Lunch for Pass@k? Low Cost Diverse Sampling for Diffusion Language Models

March 5, 2026

Auteurs: Sean Lamont, Christian Walder, Paul Montague, Amir Dezfouli, Michael Norrish

cs.AI

Résumé

Des sorties diversifiées en génération de texte sont nécessaires pour une exploration efficace dans les tâches de raisonnement complexe, telles que la génération de code et la résolution de problèmes mathématiques. Les problèmes de type Pass@k bénéficient de candidats distincts couvrant l'espace des solutions. Cependant, les approches d'échantillonnage traditionnelles gaspillent souvent des ressources computationnelles sur des modes d'échec répétitifs. Bien que les modèles de langage à diffusion soient apparus comme une alternative compétitive au paradigme autorégressif dominant, ils restent vulnérables à cette redondance, les échantillons indépendants s'effondrant fréquemment dans des modes similaires. Pour remédier à cela, nous proposons une intervention peu coûteuse et sans apprentissage pour améliorer la diversité générative dans les modèles de langage à diffusion. Notre approche modifie séquentiellement les échantillons intermédiaires dans un lot, où chaque échantillon est repoussé de l'espace des caractéristiques des échantillons précédents, pénalisant activement la redondance. Contrairement aux méthodes antérieures nécessitant un réentraînement ou une recherche en faisceau, notre stratégie entraîne une surcharge computationnelle négligeable, tout en garantissant que chaque échantillon apporte une perspective unique au lot. Nous évaluons notre méthode sur les benchmarks HumanEval et GSM8K en utilisant le modèle LLaDA-8B-Instruct. Nos résultats démontrent une amélioration significative de la diversité et des performances Pass@k pour divers réglages de température. En tant que simple modification du processus d'échantillonnage, notre méthode offre une amélioration immédiate et peu coûteuse pour les modèles de langage à diffusion actuels et futurs dans les tâches bénéficiant d'une recherche de solutions diversifiée. Nous mettons notre code à disposition à l'adresse https://github.com/sean-lamont/odd.

English

Diverse outputs in text generation are necessary for effective exploration in complex reasoning tasks, such as code generation and mathematical problem solving. Such Pass@k problems benefit from distinct candidates covering the solution space. However, traditional sampling approaches often waste computational resources on repetitive failure modes. While Diffusion Language Models have emerged as a competitive alternative to the prevailing Autoregressive paradigm, they remain susceptible to this redundancy, with independent samples frequently collapsing into similar modes. To address this, we propose a training free, low cost intervention to enhance generative diversity in Diffusion Language Models. Our approach modifies intermediate samples in a batch sequentially, where each sample is repelled from the feature space of previous samples, actively penalising redundancy. Unlike prior methods that require retraining or beam search, our strategy incurs negligible computational overhead, while ensuring that each sample contributes a unique perspective to the batch. We evaluate our method on the HumanEval and GSM8K benchmarks using the LLaDA-8B-Instruct model. Our results demonstrate significantly improved diversity and Pass@k performance across various temperature settings. As a simple modification to the sampling process, our method offers an immediate, low-cost improvement for current and future Diffusion Language Models in tasks that benefit from diverse solution search. We make our code available at https://github.com/sean-lamont/odd.