Optimierung von LLM-Programmen mittels Retrieval-gestützter Suche

Zusammenfassung

Aktuelle Arbeiten haben das Potenzial großer Sprachmodelle (Large Language Models, LLMs) für die Programmoptimierung aufgezeigt, eine zentrale Herausforderung in Programmiersprachen. Wir schlagen eine Blackbox-Anpassungsmethode namens Retrieval-gestützte Suche (RAS) vor, die eine Beam-Suche über Kandidatenoptimierungen durchführt; dabei ruft sie in jedem Schritt In-Context-Beispiele aus einem gegebenen Trainingsdatensatz von Paaren langsamer und schneller Programme ab, um das LLM zu leiten. Entscheidend ist, dass wir feststellen, dass ein kontextbezogenes Retrieval auf Basis einer vom LLM generierten natürlichsprachlichen Beschreibung deutlich besser abschneidet als ein Retrieval auf Basis des Quellcodes. Zudem schlagen wir AEGIS vor, eine Methode zur Verbesserung der Interpretierbarkeit, indem Trainingsbeispiele in sogenannte „atomare Bearbeitungen“ zerlegt werden, die in ihrer Art deutlich inkrementeller sind. Wir zeigen, dass RAS bei der Optimierung von C++-Programmen bis zu 2,06-mal besser abschneidet als bisherige modernste Blackbox-Anpassungsstrategien und dass AEGIS bis zu 1,37-mal besser abschneidet und dabei wesentlich kleinere Änderungen vornimmt. Wir zeigen außerdem, dass der Einsatz von RAS das mittlere Laufzeitperzentil von Python-Programmen im Vergleich zu Baselines um 10,27 verbessert.

English

Recent work has demonstrated the potential of large language models (LLMs) for program optimization, a key challenge in programming languages. We propose a blackbox adaptation method called Retrieval Augmented Search (RAS) that performs beam search over candidate optimizations; at each step, it retrieves in-context examples from a given training dataset of slow-fast program pairs to guide the LLM. Critically, we find that performing contextual retrieval based on an LLM-generated natural language description significantly outperforms retrieval based on the source code. We also propose AEGIS, a method for improving interpretability by decomposing training examples into ''atomic edits'' that are significantly more incremental in nature. We show that RAS performs up to 2.06times better than prior state-of-the-art blackbox adaptation strategies on optimizing C++ programs, and that AEGIS performs up to 1.37times better while making significantly smaller edits. We also show that using RAS improves the mean runtime percentile of Python programs by 10.27 compared to baselines.