Door de compiler gegenereerde feedback voor grote taalmodellen

Compiler generated feedback for Large Language Models

March 18, 2024

Auteurs: Dejan Grubisic, Chris Cummins, Volker Seeker, Hugh Leather

cs.AI

Samenvatting

We introduceren een nieuw paradigma in compileroptimalisatie, aangedreven door Large Language Models met compilerfeedback om de codegrootte van LLVM-assembly te optimaliseren. Het model neemt ongeoptimaliseerde LLVM IR als invoer en produceert geoptimaliseerde IR, de beste optimalisatiepassen, en instructietellingen van zowel de ongeoptimaliseerde als de geoptimaliseerde IR. Vervolgens compileren we de invoer met de gegenereerde optimalisatiepassen en evalueren we of de voorspelde instructietelling correct is, de gegenereerde IR compileerbaar is, en overeenkomt met de gecompileerde code. We geven deze feedback terug aan het LLM en geven het een nieuwe kans om de code te optimaliseren. Deze aanpak voegt een extra verbetering van 0,53% toe bovenop -Oz ten opzichte van het oorspronkelijke model. Hoewel het toevoegen van meer informatie met feedback intuïtief lijkt, behalen eenvoudige samplingtechnieken een veel hogere prestaties bij 10 of meer samples.

English

We introduce a novel paradigm in compiler optimization powered by Large Language Models with compiler feedback to optimize the code size of LLVM assembly. The model takes unoptimized LLVM IR as input and produces optimized IR, the best optimization passes, and instruction counts of both unoptimized and optimized IRs. Then we compile the input with generated optimization passes and evaluate if the predicted instruction count is correct, generated IR is compilable, and corresponds to compiled code. We provide this feedback back to LLM and give it another chance to optimize code. This approach adds an extra 0.53% improvement over -Oz to the original model. Even though, adding more information with feedback seems intuitive, simple sampling techniques achieve much higher performance given 10 or more samples.