Gratis lunch voor Pass@k? Goedkope diverse steekproeven voor diffusie-taalmodel
Free Lunch for Pass@k? Low Cost Diverse Sampling for Diffusion Language Models
March 5, 2026
Auteurs: Sean Lamont, Christian Walder, Paul Montague, Amir Dezfouli, Michael Norrish
cs.AI
Samenvatting
Diverse uitvoer in tekstgeneratie is essentieel voor effectieve verkenning bij complexe redeneertaken, zoals codegeneratie en wiskundig probleemoplossen. Zulke Pass@k-problemen hebben baat bij verschillende kandidaatoplossingen die de oplossingsruimte bestrijken. Traditionele steekproefmethoden verspillen echter vaak rekenresources aan repetitieve foutmodi. Hoewel Diffusion Language Models zijn opgekomen als een competitief alternatief voor het heersende autoregressieve paradigma, blijven zij vatbaar voor deze redundantie, waarbij onafhankelijke steekproeven vaak terugvallen in vergelijkbare modi. Om dit aan te pakken, stellen we een trainingsvrije, kostenefficiënte interventie voor om de generatieve diversiteit in Diffusion Language Models te verbeteren. Onze aanpak wijzigt tussenliggende steekproeven in een batch sequentieel, waarbij elke steekproef wordt afgestoten van de kenmerkruimte van voorgaande steekproeven, om redundantie actief te bestraffen. In tegenstelling tot eerdere methoden die hertraining of beam search vereisen, brengt onze strategie verwaarloosbare rekenkosten met zich mee, terwijl wordt gegarandeerd dat elke steekproef een uniek perspectief aan de batch bijdraagt. We evalueren onze methode op de HumanEval- en GSM8K-benchmarks met het LLaDA-8B-Instruct-model. Onze resultaten tonen een significant verbeterde diversiteit en Pass@k-prestatie bij verschillende temperatuurinstellingen. Als een eenvoudige aanpassing van het steekproefproces biedt onze methode een directe, kostenefficiënte verbetering voor huidige en toekomstige Diffusion Language Models bij taken die baat hebben bij een diverse oplossingszoektocht. Onze code is beschikbaar op https://github.com/sean-lamont/odd.
English
Diverse outputs in text generation are necessary for effective exploration in complex reasoning tasks, such as code generation and mathematical problem solving. Such Pass@k problems benefit from distinct candidates covering the solution space. However, traditional sampling approaches often waste computational resources on repetitive failure modes. While Diffusion Language Models have emerged as a competitive alternative to the prevailing Autoregressive paradigm, they remain susceptible to this redundancy, with independent samples frequently collapsing into similar modes. To address this, we propose a training free, low cost intervention to enhance generative diversity in Diffusion Language Models. Our approach modifies intermediate samples in a batch sequentially, where each sample is repelled from the feature space of previous samples, actively penalising redundancy. Unlike prior methods that require retraining or beam search, our strategy incurs negligible computational overhead, while ensuring that each sample contributes a unique perspective to the batch. We evaluate our method on the HumanEval and GSM8K benchmarks using the LLaDA-8B-Instruct model. Our results demonstrate significantly improved diversity and Pass@k performance across various temperature settings. As a simple modification to the sampling process, our method offers an immediate, low-cost improvement for current and future Diffusion Language Models in tasks that benefit from diverse solution search. We make our code available at https://github.com/sean-lamont/odd.