¿Comida gratis para Pass@k? Muestreo diverso de bajo coste para modelos de lenguaje de difusión

Free Lunch for Pass@k? Low Cost Diverse Sampling for Diffusion Language Models

March 5, 2026

Autores: Sean Lamont, Christian Walder, Paul Montague, Amir Dezfouli, Michael Norrish

cs.AI

Resumen

La generación de textos diversos es necesaria para una exploración efectiva en tareas de razonamiento complejo, como la generación de código y la resolución de problemas matemáticos. Problemas del tipo Pass@k se benefician de candidatos distintos que cubran el espacio de soluciones. Sin embargo, los enfoques de muestreo tradicionales a menudo desperdician recursos computacionales en modos de fallo repetitivos. Si bien los Modelos de Lenguaje de Difusión han surgido como una alternativa competitiva al paradigma Autoregresivo predominante, siguen siendo susceptibles a esta redundancia, ya que muestras independientes frecuentemente colapsan en modos similares. Para abordar esto, proponemos una intervención de bajo costo y sin necesidad de entrenamiento para mejorar la diversidad generativa en los Modelos de Lenguaje de Difusión. Nuestro enfoque modifica muestras intermedias en un lote de forma secuencial, donde cada muestra es repelida del espacio de características de las muestras anteriores, penalizando activamente la redundancia. A diferencia de métodos anteriores que requieren reentrenamiento o búsqueda por haz, nuestra estrategia incurre en una sobrecarga computacional insignificante, a la vez que garantiza que cada muestra contribuya con una perspectiva única al lote. Evaluamos nuestro método en los benchmarks HumanEval y GSM8K utilizando el modelo LLaDA-8B-Instruct. Nuestros resultados demuestran una diversidad y un rendimiento Pass@k significativamente mejorados en varios ajustes de temperatura. Como una modificación simple al proceso de muestreo, nuestro método ofrece una mejora inmediata y de bajo costo para los Modelos de Lenguaje de Difusión actuales y futuros en tareas que se benefician de una búsqueda de soluciones diversa. Ponemos nuestro código a disposición en https://github.com/sean-lamont/odd.

English

Diverse outputs in text generation are necessary for effective exploration in complex reasoning tasks, such as code generation and mathematical problem solving. Such Pass@k problems benefit from distinct candidates covering the solution space. However, traditional sampling approaches often waste computational resources on repetitive failure modes. While Diffusion Language Models have emerged as a competitive alternative to the prevailing Autoregressive paradigm, they remain susceptible to this redundancy, with independent samples frequently collapsing into similar modes. To address this, we propose a training free, low cost intervention to enhance generative diversity in Diffusion Language Models. Our approach modifies intermediate samples in a batch sequentially, where each sample is repelled from the feature space of previous samples, actively penalising redundancy. Unlike prior methods that require retraining or beam search, our strategy incurs negligible computational overhead, while ensuring that each sample contributes a unique perspective to the batch. We evaluate our method on the HumanEval and GSM8K benchmarks using the LLaDA-8B-Instruct model. Our results demonstrate significantly improved diversity and Pass@k performance across various temperature settings. As a simple modification to the sampling process, our method offers an immediate, low-cost improvement for current and future Diffusion Language Models in tasks that benefit from diverse solution search. We make our code available at https://github.com/sean-lamont/odd.