Het verbinden van grote taalmodellen met evolutionaire algoritmen resulteert in krachtige promptoptimalisatoren.

Connecting Large Language Models with Evolutionary Algorithms Yields Powerful Prompt Optimizers

September 15, 2023

Auteurs: Qingyan Guo, Rui Wang, Junliang Guo, Bei Li, Kaitao Song, Xu Tan, Guoqing Liu, Jiang Bian, Yujiu Yang

cs.AI

Samenvatting

Grote Taalmodellen (LLMs) blinken uit in diverse taken, maar ze zijn afhankelijk van zorgvuldig geformuleerde prompts die vaak aanzienlijke menselijke inspanning vergen. Om dit proces te automatiseren, stellen we in dit artikel een nieuw raamwerk voor voor discrete promptoptimalisatie, genaamd EvoPrompt, dat het idee van evolutionaire algoritmen (EAs) overneemt omdat deze goede prestaties en snelle convergentie vertonen. Om EAs te laten werken met discrete prompts, die natuurlijke taalexpressies zijn die coherent en menselijk leesbaar moeten zijn, verbinden we LLMs met EAs. Deze aanpak stelt ons in staat om tegelijkertijd gebruik te maken van de krachtige taalverwerkingscapaciteiten van LLMs en de efficiënte optimalisatieprestaties van EAs. Specifiek, zonder gebruik te maken van gradients of parameters, begint EvoPrompt met een populatie van prompts en genereert iteratief nieuwe prompts met LLMs op basis van evolutionaire operatoren, waarbij de populatie wordt verbeterd op basis van de ontwikkelingsset. We optimaliseren prompts voor zowel gesloten als open-source LLMs, waaronder GPT-3.5 en Alpaca, op 9 datasets die taalbegrip en generatietaken omvatten. EvoPrompt overtreft aanzienlijk door mensen ontworpen prompts en bestaande methoden voor automatische promptgeneratie met respectievelijk tot 25% en 14%. Bovendien toont EvoPrompt aan dat het verbinden van LLMs met EAs synergieën creëert, wat verder onderzoek naar de combinatie van LLMs en conventionele algoritmen zou kunnen inspireren.

English

Large Language Models (LLMs) excel in various tasks, but they rely on carefully crafted prompts that often demand substantial human effort. To automate this process, in this paper, we propose a novel framework for discrete prompt optimization, called EvoPrompt, which borrows the idea of evolutionary algorithms (EAs) as they exhibit good performance and fast convergence. To enable EAs to work on discrete prompts, which are natural language expressions that need to be coherent and human-readable, we connect LLMs with EAs. This approach allows us to simultaneously leverage the powerful language processing capabilities of LLMs and the efficient optimization performance of EAs. Specifically, abstaining from any gradients or parameters, EvoPrompt starts from a population of prompts and iteratively generates new prompts with LLMs based on the evolutionary operators, improving the population based on the development set. We optimize prompts for both closed- and open-source LLMs including GPT-3.5 and Alpaca, on 9 datasets spanning language understanding and generation tasks. EvoPrompt significantly outperforms human-engineered prompts and existing methods for automatic prompt generation by up to 25% and 14% respectively. Furthermore, EvoPrompt demonstrates that connecting LLMs with EAs creates synergies, which could inspire further research on the combination of LLMs and conventional algorithms.