Kostenloses Mittagessen für Pass@k? Günstige Erzeugung diverser Stichproben für Diffusionssprachmodelle

Free Lunch for Pass@k? Low Cost Diverse Sampling for Diffusion Language Models

March 5, 2026

Autoren: Sean Lamont, Christian Walder, Paul Montague, Amir Dezfouli, Michael Norrish

cs.AI

Zusammenfassung

Vielfältige Ausgaben in der Textgenerierung sind für eine effektive Erkundung in komplexen Denkaufgaben notwendig, wie z.B. Code-Generierung und mathematische Problemlösungen. Solche Pass@k-Probleme profitieren von unterschiedlichen Kandidaten, die den Lösungsraum abdecken. Herkömmliche Sampling-Ansätze verschwenden jedoch oft Rechenressourcen für repetitive Fehlermodi. Während Diffusions-Sprachmodelle sich als wettbewerbsfähige Alternative zum vorherrschenden autoregressiven Paradigma etabliert haben, bleiben sie anfällig für diese Redundanz, wobei unabhängige Stichproben häufig in ähnliche Modi kollabieren. Um dies zu adressieren, schlagen wir eine trainingsfreie, kostengünstige Intervention vor, um die generative Vielfalt in Diffusions-Sprachmodellen zu erhöhen. Unser Ansatz modifiziert Zwischenstichproben in einem Batch sequentiell, wobei jede Stichprobe vom Merkmalsraum vorheriger Stichproben abgestoßen wird und so Redundanz aktiv bestraft. Im Gegensatz zu früheren Methoden, die ein Neutraining oder Beam Search erfordern, verursacht unsere Strategie einen vernachlässigbaren Rechenaufwand und stellt gleichzeitig sicher, dass jede Stichprobe einen einzigartigen Perspektivenbeitrag zum Batch leistet. Wir evaluieren unsere Methode an den Benchmarks HumanEval und GSM8K unter Verwendung des LLaDA-8B-Instruct-Modells. Unsere Ergebnisse demonstrieren eine signifikant verbesserte Diversität und Pass@k-Leistung über verschiedene Temperatureinstellungen hinweg. Als einfache Modifikation des Sampling-Prozesses bietet unsere Methode eine sofortige, kostengünstige Verbesserung für aktuelle und zukünftige Diffusions-Sprachmodelle in Aufgaben, die von einer vielfältigen Lösungssuche profitieren. Unser Code ist verfügbar unter https://github.com/sean-lamont/odd.

English

Diverse outputs in text generation are necessary for effective exploration in complex reasoning tasks, such as code generation and mathematical problem solving. Such Pass@k problems benefit from distinct candidates covering the solution space. However, traditional sampling approaches often waste computational resources on repetitive failure modes. While Diffusion Language Models have emerged as a competitive alternative to the prevailing Autoregressive paradigm, they remain susceptible to this redundancy, with independent samples frequently collapsing into similar modes. To address this, we propose a training free, low cost intervention to enhance generative diversity in Diffusion Language Models. Our approach modifies intermediate samples in a batch sequentially, where each sample is repelled from the feature space of previous samples, actively penalising redundancy. Unlike prior methods that require retraining or beam search, our strategy incurs negligible computational overhead, while ensuring that each sample contributes a unique perspective to the batch. We evaluate our method on the HumanEval and GSM8K benchmarks using the LLaDA-8B-Instruct model. Our results demonstrate significantly improved diversity and Pass@k performance across various temperature settings. As a simple modification to the sampling process, our method offers an immediate, low-cost improvement for current and future Diffusion Language Models in tasks that benefit from diverse solution search. We make our code available at https://github.com/sean-lamont/odd.