Optimisation de programme LLM via recherche augmentée par récupération

Résumé

Des travaux récents ont démontré le potentiel des grands modèles de langage (LLM) pour l'optimisation de programmes, un défi clé dans le domaine des langages de programmation. Nous proposons une méthode d'adaptation en boîte noire appelée Retrieval Augmented Search (RAS), qui effectue une recherche par faisceau sur des optimisations candidates ; à chaque étape, elle récupère des exemples en contexte à partir d'un ensemble de données d'apprentissage de paires de programmes lents et rapides afin de guider le LLM. De manière cruciale, nous constatons que la récupération contextuelle basée sur une description en langage naturel générée par le LLM surpasse significativement la récupération basée sur le code source. Nous proposons également AEGIS, une méthode visant à améliorer l'interprétabilité en décomposant les exemples d'apprentissage en « éditions atomiques » de nature significativement plus incrémentale. Nous montrons que RAS obtient des performances jusqu'à 2,06 fois supérieures aux stratégies d'adaptation en boîte noire les plus avancées antérieures pour l'optimisation de programmes C++, et qu'AEGIS obtient des performances jusqu'à 1,37 fois supérieures tout en effectuant des éditions significativement plus petites. Nous montrons également que l'utilisation de RAS améliore le centile moyen du temps d'exécution des programmes Python de 10,27 par rapport aux approches de référence.

English

Recent work has demonstrated the potential of large language models (LLMs) for program optimization, a key challenge in programming languages. We propose a blackbox adaptation method called Retrieval Augmented Search (RAS) that performs beam search over candidate optimizations; at each step, it retrieves in-context examples from a given training dataset of slow-fast program pairs to guide the LLM. Critically, we find that performing contextual retrieval based on an LLM-generated natural language description significantly outperforms retrieval based on the source code. We also propose AEGIS, a method for improving interpretability by decomposing training examples into ''atomic edits'' that are significantly more incremental in nature. We show that RAS performs up to 2.06times better than prior state-of-the-art blackbox adaptation strategies on optimizing C++ programs, and that AEGIS performs up to 1.37times better while making significantly smaller edits. We also show that using RAS improves the mean runtime percentile of Python programs by 10.27 compared to baselines.