Optimalisatie van LLM-programma's via Retrieval Augmented Search

Samenvatting

Recent werk heeft het potentieel aangetoond van grote taalmodellen (LLM's) voor programoptimalisatie, een belangrijke uitdaging in programmeertalen. We stellen een blackbox-aanpassingsmethode voor genaamd Retrieval Augmented Search (RAS) die een bundelzoektocht uitvoert over kandidaatoptimalisaties; bij elke stap wordt contextuele ophaling toegepast van contextvoorbeelden uit een gegeven trainingsdataset van langzame-snelle programmaparen om het LLM te begeleiden. Cruciaal is dat we vinden dat het uitvoeren van contextuele ophaling op basis van een door het LLM gegenereerde natuurlijke taal beschrijving significant beter presteert dan ophaling op basis van de broncode. We stellen ook AEGIS voor, een methode voor het verbeteren van interpreteerbaarheid door trainingsvoorbeelden te ontleden in 'atomaire bewerkingen' die van nature aanzienlijk incrementeleler zijn. We tonen aan dat RAS tot 2,06 keer beter presteert dan eerdere state-of-the-art blackbox-aanpassingsstrategieën bij het optimaliseren van C++-programma's, en dat AEGIS tot 1,37 keer beter presteert terwijl het aanzienlijk kleinere bewerkingen maakt. We tonen ook aan dat het gebruik van RAS de gemiddelde runtime percentiel van Python-programma's met 10,27 verbetert ten opzichte van basislijnen.

English

Recent work has demonstrated the potential of large language models (LLMs) for program optimization, a key challenge in programming languages. We propose a blackbox adaptation method called Retrieval Augmented Search (RAS) that performs beam search over candidate optimizations; at each step, it retrieves in-context examples from a given training dataset of slow-fast program pairs to guide the LLM. Critically, we find that performing contextual retrieval based on an LLM-generated natural language description significantly outperforms retrieval based on the source code. We also propose AEGIS, a method for improving interpretability by decomposing training examples into ''atomic edits'' that are significantly more incremental in nature. We show that RAS performs up to 2.06times better than prior state-of-the-art blackbox adaptation strategies on optimizing C++ programs, and that AEGIS performs up to 1.37times better while making significantly smaller edits. We also show that using RAS improves the mean runtime percentile of Python programs by 10.27 compared to baselines.