Die Verbindung großer Sprachmodelle mit evolutionären Algorithmen führt zu leistungsstarken Prompt-Optimierern.

Connecting Large Language Models with Evolutionary Algorithms Yields Powerful Prompt Optimizers

September 15, 2023

Autoren: Qingyan Guo, Rui Wang, Junliang Guo, Bei Li, Kaitao Song, Xu Tan, Guoqing Liu, Jiang Bian, Yujiu Yang

cs.AI

Zusammenfassung

Große Sprachmodelle (LLMs) zeichnen sich in verschiedenen Aufgaben aus, sind jedoch auf sorgfältig gestaltete Prompts angewiesen, die oft erheblichen menschlichen Aufwand erfordern. Um diesen Prozess zu automatisieren, schlagen wir in diesem Artikel ein neuartiges Framework für die diskrete Prompt-Optimierung vor, genannt EvoPrompt, das die Idee evolutionärer Algorithmen (EAs) übernimmt, da diese eine gute Leistung und schnelle Konvergenz aufweisen. Um EAs auf diskrete Prompts anwenden zu können, die natürliche Sprachausdrücke sind und kohärent sowie menschenlesbar sein müssen, verbinden wir LLMs mit EAs. Dieser Ansatz ermöglicht es uns, gleichzeitig die leistungsstarken Sprachverarbeitungsfähigkeiten von LLMs und die effiziente Optimierungsleistung von EAs zu nutzen. Insbesondere verzichtet EvoPrompt auf Gradienten oder Parameter und beginnt mit einer Population von Prompts, um iterativ neue Prompts mit LLMs basierend auf evolutionären Operatoren zu generieren und die Population anhand des Entwicklungsdatensatzes zu verbessern. Wir optimieren Prompts für sowohl proprietäre als auch Open-Source-LLMs, einschließlich GPT-3.5 und Alpaca, auf 9 Datensätzen, die Sprachverständnis- und Generierungsaufgaben umfassen. EvoPrompt übertrifft menschlich gestaltete Prompts und bestehende Methoden zur automatischen Prompt-Generierung signifikant um bis zu 25 % bzw. 14 %. Darüber hinaus zeigt EvoPrompt, dass die Verbindung von LLMs mit EAs Synergien schafft, die weitere Forschungen zur Kombination von LLMs und konventionellen Algorithmen inspirieren könnten.

English

Large Language Models (LLMs) excel in various tasks, but they rely on carefully crafted prompts that often demand substantial human effort. To automate this process, in this paper, we propose a novel framework for discrete prompt optimization, called EvoPrompt, which borrows the idea of evolutionary algorithms (EAs) as they exhibit good performance and fast convergence. To enable EAs to work on discrete prompts, which are natural language expressions that need to be coherent and human-readable, we connect LLMs with EAs. This approach allows us to simultaneously leverage the powerful language processing capabilities of LLMs and the efficient optimization performance of EAs. Specifically, abstaining from any gradients or parameters, EvoPrompt starts from a population of prompts and iteratively generates new prompts with LLMs based on the evolutionary operators, improving the population based on the development set. We optimize prompts for both closed- and open-source LLMs including GPT-3.5 and Alpaca, on 9 datasets spanning language understanding and generation tasks. EvoPrompt significantly outperforms human-engineered prompts and existing methods for automatic prompt generation by up to 25% and 14% respectively. Furthermore, EvoPrompt demonstrates that connecting LLMs with EAs creates synergies, which could inspire further research on the combination of LLMs and conventional algorithms.