La combinaison des grands modèles de langage avec les algorithmes évolutionnaires produit des optimiseurs de prompts puissants.

Connecting Large Language Models with Evolutionary Algorithms Yields Powerful Prompt Optimizers

September 15, 2023

Auteurs: Qingyan Guo, Rui Wang, Junliang Guo, Bei Li, Kaitao Song, Xu Tan, Guoqing Liu, Jiang Bian, Yujiu Yang

cs.AI

Résumé

Les modèles de langage de grande taille (LLMs) excellent dans diverses tâches, mais ils dépendent de prompts soigneusement conçus qui nécessitent souvent un effort humain considérable. Pour automatiser ce processus, nous proposons dans cet article un nouveau cadre d'optimisation discrète des prompts, appelé EvoPrompt, qui s'inspire des algorithmes évolutionnaires (EAs) en raison de leurs bonnes performances et de leur convergence rapide. Pour permettre aux EAs de fonctionner sur des prompts discrets, qui sont des expressions en langage naturel devant être cohérentes et lisibles par l'homme, nous connectons les LLMs avec les EAs. Cette approche nous permet de tirer simultanément parti des puissantes capacités de traitement du langage des LLMs et des performances d'optimisation efficaces des EAs. Plus précisément, en s'abstenant de tout gradient ou paramètre, EvoPrompt commence par une population de prompts et génère itérativement de nouveaux prompts avec les LLMs en se basant sur les opérateurs évolutionnaires, améliorant ainsi la population en fonction de l'ensemble de développement. Nous optimisons les prompts pour des LLMs à la fois propriétaires et open-source, incluant GPT-3.5 et Alpaca, sur 9 ensembles de données couvrant des tâches de compréhension et de génération de langage. EvoPrompt surpasse significativement les prompts conçus par l'homme et les méthodes existantes de génération automatique de prompts, avec des gains allant jusqu'à 25% et 14% respectivement. De plus, EvoPrompt démontre que la connexion entre les LLMs et les EAs crée des synergies, ce qui pourrait inspirer des recherches supplémentaires sur la combinaison des LLMs et des algorithmes conventionnels.

English

Large Language Models (LLMs) excel in various tasks, but they rely on carefully crafted prompts that often demand substantial human effort. To automate this process, in this paper, we propose a novel framework for discrete prompt optimization, called EvoPrompt, which borrows the idea of evolutionary algorithms (EAs) as they exhibit good performance and fast convergence. To enable EAs to work on discrete prompts, which are natural language expressions that need to be coherent and human-readable, we connect LLMs with EAs. This approach allows us to simultaneously leverage the powerful language processing capabilities of LLMs and the efficient optimization performance of EAs. Specifically, abstaining from any gradients or parameters, EvoPrompt starts from a population of prompts and iteratively generates new prompts with LLMs based on the evolutionary operators, improving the population based on the development set. We optimize prompts for both closed- and open-source LLMs including GPT-3.5 and Alpaca, on 9 datasets spanning language understanding and generation tasks. EvoPrompt significantly outperforms human-engineered prompts and existing methods for automatic prompt generation by up to 25% and 14% respectively. Furthermore, EvoPrompt demonstrates that connecting LLMs with EAs creates synergies, which could inspire further research on the combination of LLMs and conventional algorithms.