La conexión de modelos de lenguaje de gran escala con algoritmos evolutivos produce optimizadores de prompts potentes.

Connecting Large Language Models with Evolutionary Algorithms Yields Powerful Prompt Optimizers

September 15, 2023

Autores: Qingyan Guo, Rui Wang, Junliang Guo, Bei Li, Kaitao Song, Xu Tan, Guoqing Liu, Jiang Bian, Yujiu Yang

cs.AI

Resumen

Los Modelos de Lenguaje de Gran Escala (LLMs, por sus siglas en inglés) destacan en diversas tareas, pero dependen de indicaciones (prompts) cuidadosamente elaboradas que a menudo requieren un esfuerzo humano considerable. Para automatizar este proceso, en este artículo proponemos un marco novedoso para la optimización de prompts discretos, llamado EvoPrompt, que toma prestada la idea de los algoritmos evolutivos (EAs, por sus siglas en inglés) debido a su buen rendimiento y rápida convergencia. Para permitir que los EAs funcionen con prompts discretos, que son expresiones en lenguaje natural que deben ser coherentes y legibles para los humanos, conectamos los LLMs con los EAs. Este enfoque nos permite aprovechar simultáneamente las potentes capacidades de procesamiento de lenguaje de los LLMs y el eficiente rendimiento de optimización de los EAs. Específicamente, sin recurrir a gradientes o parámetros, EvoPrompt comienza con una población de prompts y genera iterativamente nuevos prompts utilizando LLMs basados en operadores evolutivos, mejorando la población en función del conjunto de desarrollo. Optimizamos prompts tanto para LLMs de código cerrado como abierto, incluyendo GPT-3.5 y Alpaca, en 9 conjuntos de datos que abarcan tareas de comprensión y generación de lenguaje. EvoPrompt supera significativamente los prompts diseñados por humanos y los métodos existentes para la generación automática de prompts en hasta un 25% y un 14%, respectivamente. Además, EvoPrompt demuestra que la conexión entre LLMs y EAs crea sinergias, lo que podría inspirar investigaciones futuras sobre la combinación de LLMs y algoritmos convencionales.

English

Large Language Models (LLMs) excel in various tasks, but they rely on carefully crafted prompts that often demand substantial human effort. To automate this process, in this paper, we propose a novel framework for discrete prompt optimization, called EvoPrompt, which borrows the idea of evolutionary algorithms (EAs) as they exhibit good performance and fast convergence. To enable EAs to work on discrete prompts, which are natural language expressions that need to be coherent and human-readable, we connect LLMs with EAs. This approach allows us to simultaneously leverage the powerful language processing capabilities of LLMs and the efficient optimization performance of EAs. Specifically, abstaining from any gradients or parameters, EvoPrompt starts from a population of prompts and iteratively generates new prompts with LLMs based on the evolutionary operators, improving the population based on the development set. We optimize prompts for both closed- and open-source LLMs including GPT-3.5 and Alpaca, on 9 datasets spanning language understanding and generation tasks. EvoPrompt significantly outperforms human-engineered prompts and existing methods for automatic prompt generation by up to 25% and 14% respectively. Furthermore, EvoPrompt demonstrates that connecting LLMs with EAs creates synergies, which could inspire further research on the combination of LLMs and conventional algorithms.