Retroalimentación generada por compiladores para Modelos de Lenguaje a Gran Escala

Compiler generated feedback for Large Language Models

March 18, 2024

Autores: Dejan Grubisic, Chris Cummins, Volker Seeker, Hugh Leather

cs.AI

Resumen

Introducimos un nuevo paradigma en la optimización de compiladores impulsado por Modelos de Lenguaje de Gran Escala (LLM) con retroalimentación del compilador para optimizar el tamaño del código en ensamblador LLVM. El modelo toma como entrada un código intermedio LLVM no optimizado y produce un código intermedio optimizado, los mejores pases de optimización y los conteos de instrucciones tanto del código no optimizado como del optimizado. Luego, compilamos la entrada con los pases de optimización generados y evaluamos si el conteo de instrucciones predicho es correcto, si el código intermedio generado es compilable y si corresponde al código compilado. Proporcionamos esta retroalimentación al LLM y le damos otra oportunidad para optimizar el código. Este enfoque añade una mejora adicional del 0.53% sobre -Oz al modelo original. Aunque añadir más información con retroalimentación parece intuitivo, técnicas simples de muestreo logran un rendimiento mucho mayor cuando se utilizan 10 o más muestras.

English

We introduce a novel paradigm in compiler optimization powered by Large Language Models with compiler feedback to optimize the code size of LLVM assembly. The model takes unoptimized LLVM IR as input and produces optimized IR, the best optimization passes, and instruction counts of both unoptimized and optimized IRs. Then we compile the input with generated optimization passes and evaluate if the predicted instruction count is correct, generated IR is compilable, and corresponds to compiled code. We provide this feedback back to LLM and give it another chance to optimize code. This approach adds an extra 0.53% improvement over -Oz to the original model. Even though, adding more information with feedback seems intuitive, simple sampling techniques achieve much higher performance given 10 or more samples.