La connessione tra modelli linguistici di grandi dimensioni e algoritmi evolutivi produce potenti ottimizzatori di prompt.

Connecting Large Language Models with Evolutionary Algorithms Yields Powerful Prompt Optimizers

September 15, 2023

Autori: Qingyan Guo, Rui Wang, Junliang Guo, Bei Li, Kaitao Song, Xu Tan, Guoqing Liu, Jiang Bian, Yujiu Yang

cs.AI

Abstract

I Large Language Model (LLM) eccellono in vari compiti, ma si basano su prompt accuratamente progettati che spesso richiedono un notevole sforzo umano. Per automatizzare questo processo, in questo articolo proponiamo un nuovo framework per l'ottimizzazione discreta dei prompt, chiamato EvoPrompt, che prende spunto dagli algoritmi evolutivi (EA) poiché dimostrano buone prestazioni e una rapida convergenza. Per consentire agli EA di lavorare su prompt discreti, che sono espressioni in linguaggio naturale che devono essere coerenti e leggibili, colleghiamo gli LLM con gli EA. Questo approccio ci permette di sfruttare contemporaneamente le potenti capacità di elaborazione del linguaggio degli LLM e le prestazioni efficienti di ottimizzazione degli EA. Nello specifico, astenendosi da qualsiasi gradiente o parametro, EvoPrompt parte da una popolazione di prompt e genera iterativamente nuovi prompt con gli LLM basandosi sugli operatori evolutivi, migliorando la popolazione in base al set di sviluppo. Ottimizziamo i prompt sia per LLM proprietari che open-source, inclusi GPT-3.5 e Alpaca, su 9 dataset che coprono compiti di comprensione e generazione del linguaggio. EvoPrompt supera significativamente i prompt progettati manualmente e i metodi esistenti per la generazione automatica dei prompt rispettivamente fino al 25% e al 14%. Inoltre, EvoPrompt dimostra che collegare gli LLM con gli EA crea sinergie, che potrebbero ispirare ulteriori ricerche sulla combinazione di LLM e algoritmi convenzionali.

English

Large Language Models (LLMs) excel in various tasks, but they rely on carefully crafted prompts that often demand substantial human effort. To automate this process, in this paper, we propose a novel framework for discrete prompt optimization, called EvoPrompt, which borrows the idea of evolutionary algorithms (EAs) as they exhibit good performance and fast convergence. To enable EAs to work on discrete prompts, which are natural language expressions that need to be coherent and human-readable, we connect LLMs with EAs. This approach allows us to simultaneously leverage the powerful language processing capabilities of LLMs and the efficient optimization performance of EAs. Specifically, abstaining from any gradients or parameters, EvoPrompt starts from a population of prompts and iteratively generates new prompts with LLMs based on the evolutionary operators, improving the population based on the development set. We optimize prompts for both closed- and open-source LLMs including GPT-3.5 and Alpaca, on 9 datasets spanning language understanding and generation tasks. EvoPrompt significantly outperforms human-engineered prompts and existing methods for automatic prompt generation by up to 25% and 14% respectively. Furthermore, EvoPrompt demonstrates that connecting LLMs with EAs creates synergies, which could inspire further research on the combination of LLMs and conventional algorithms.