Muestreo Prioritizado de Modelos de Lenguaje a Gran Escala para Compiladores

Priority Sampling of Large Language Models for Compilers

February 28, 2024

Autores: Dejan Grubisic, Chris Cummins, Volker Seeker, Hugh Leather

cs.AI

Resumen

Los grandes modelos de lenguaje muestran un gran potencial en la generación y optimización de código. Los métodos de muestreo ampliamente utilizados, como el Muestreo de Núcleo, aumentan la diversidad de la generación, pero a menudo producen muestras repetidas para temperaturas bajas y muestras incoherentes para temperaturas altas. Además, el coeficiente de temperatura debe ajustarse para cada tarea, lo que limita su usabilidad. Presentamos el Muestreo por Prioridad, una técnica de muestreo simple y determinista que produce muestras únicas ordenadas por la confianza del modelo. Cada nueva muestra expande el token no expandido con la mayor probabilidad en el árbol de búsqueda aumentado. Adicionalmente, el Muestreo por Prioridad admite la generación basada en expresiones regulares, lo que proporciona un proceso de exploración controlado y estructurado. El Muestreo por Prioridad supera al Muestreo de Núcleo para cualquier número de muestras, mejorando el rendimiento del modelo original de un 2.87% a un 5% de mejora sobre -Oz. Además, supera al sintonizador automático utilizado para la generación de etiquetas para el entrenamiento del modelo original en tan solo 30 muestras.

English

Large language models show great potential in generating and optimizing code. Widely used sampling methods such as Nucleus Sampling increase the diversity of generation but often produce repeated samples for low temperatures and incoherent samples for high temperatures. Furthermore, the temperature coefficient has to be tuned for each task, limiting its usability. We present Priority Sampling, a simple and deterministic sampling technique that produces unique samples ordered by the model's confidence. Each new sample expands the unexpanded token with the highest probability in the augmented search tree. Additionally, Priority Sampling supports generation based on regular expression that provides a controllable and structured exploration process. Priority Sampling outperforms Nucleus Sampling for any number of samples, boosting the performance of the original model from 2.87% to 5% improvement over -Oz. Moreover, it outperforms the autotuner used for the generation of labels for the training of the original model in just 30 samples.