Prioriteitssampling van grote taalmodellen voor compilers
Priority Sampling of Large Language Models for Compilers
February 28, 2024
Auteurs: Dejan Grubisic, Chris Cummins, Volker Seeker, Hugh Leather
cs.AI
Samenvatting
Grote taalmodellen tonen groot potentieel in het genereren en optimaliseren van code.
Veelgebruikte steekproefmethoden zoals Nucleus Sampling vergroten de diversiteit van
generatie, maar produceren vaak herhaalde steekproeven bij lage temperaturen en
onsamenhangende steekproeven bij hoge temperaturen. Bovendien moet de temperatuur-
coëfficiënt voor elke taak worden afgesteld, wat de bruikbaarheid beperkt. Wij presenteren
Priority Sampling, een eenvoudige en deterministische steekproeftechniek die unieke
steekproeven genereert, geordend op basis van het vertrouwen van het model. Elke nieuwe
steekproef breidt de niet-uitgebreide token uit met de hoogste waarschijnlijkheid in de
uitgebreide zoekboom. Daarnaast ondersteunt Priority Sampling generatie op basis van
reguliere expressies, wat een controleerbaar en gestructureerd verkenningsproces biedt.
Priority Sampling presteert beter dan Nucleus Sampling voor elk aantal steekproeven en
verbetert de prestaties van het oorspronkelijke model van 2,87% naar 5% verbetering ten
opzichte van -Oz. Bovendien overtreft het de autotuner die wordt gebruikt voor het
genereren van labels voor de training van het oorspronkelijke model in slechts 30
steekproeven.
English
Large language models show great potential in generating and optimizing code.
Widely used sampling methods such as Nucleus Sampling increase the diversity of
generation but often produce repeated samples for low temperatures and
incoherent samples for high temperatures. Furthermore, the temperature
coefficient has to be tuned for each task, limiting its usability. We present
Priority Sampling, a simple and deterministic sampling technique that produces
unique samples ordered by the model's confidence. Each new sample expands the
unexpanded token with the highest probability in the augmented search tree.
Additionally, Priority Sampling supports generation based on regular expression
that provides a controllable and structured exploration process. Priority
Sampling outperforms Nucleus Sampling for any number of samples, boosting the
performance of the original model from 2.87% to 5% improvement over -Oz.
Moreover, it outperforms the autotuner used for the generation of labels for
the training of the original model in just 30 samples.