A conexão entre Modelos de Linguagem de Grande Escala e Algoritmos Evolutivos resulta em Potentes Otimizadores de Prompts

Connecting Large Language Models with Evolutionary Algorithms Yields Powerful Prompt Optimizers

September 15, 2023

Autores: Qingyan Guo, Rui Wang, Junliang Guo, Bei Li, Kaitao Song, Xu Tan, Guoqing Liu, Jiang Bian, Yujiu Yang

cs.AI

Resumo

Os Modelos de Linguagem de Grande Escala (LLMs) se destacam em diversas tarefas, mas dependem de prompts cuidadosamente elaborados que frequentemente exigem um esforço humano considerável. Para automatizar esse processo, neste artigo, propomos um novo framework para otimização de prompts discretos, chamado EvoPrompt, que empresta a ideia de algoritmos evolutivos (EAs), pois eles apresentam bom desempenho e convergência rápida. Para permitir que os EAs funcionem com prompts discretos, que são expressões em linguagem natural que precisam ser coerentes e legíveis, conectamos os LLMs com os EAs. Essa abordagem nos permite aproveitar simultaneamente as poderosas capacidades de processamento de linguagem dos LLMs e o desempenho eficiente de otimização dos EAs. Especificamente, abstendo-se de qualquer gradiente ou parâmetro, o EvoPrompt começa com uma população de prompts e gera iterativamente novos prompts com os LLMs com base nos operadores evolutivos, melhorando a população com base no conjunto de desenvolvimento. Otimizamos prompts tanto para LLMs de código fechado quanto de código aberto, incluindo GPT-3.5 e Alpaca, em 9 conjuntos de dados que abrangem tarefas de compreensão e geração de linguagem. O EvoPrompt supera significativamente os prompts elaborados por humanos e os métodos existentes para geração automática de prompts em até 25% e 14%, respectivamente. Além disso, o EvoPrompt demonstra que a conexão entre LLMs e EAs cria sinergias, o que pode inspirar novas pesquisas sobre a combinação de LLMs e algoritmos convencionais.

English

Large Language Models (LLMs) excel in various tasks, but they rely on carefully crafted prompts that often demand substantial human effort. To automate this process, in this paper, we propose a novel framework for discrete prompt optimization, called EvoPrompt, which borrows the idea of evolutionary algorithms (EAs) as they exhibit good performance and fast convergence. To enable EAs to work on discrete prompts, which are natural language expressions that need to be coherent and human-readable, we connect LLMs with EAs. This approach allows us to simultaneously leverage the powerful language processing capabilities of LLMs and the efficient optimization performance of EAs. Specifically, abstaining from any gradients or parameters, EvoPrompt starts from a population of prompts and iteratively generates new prompts with LLMs based on the evolutionary operators, improving the population based on the development set. We optimize prompts for both closed- and open-source LLMs including GPT-3.5 and Alpaca, on 9 datasets spanning language understanding and generation tasks. EvoPrompt significantly outperforms human-engineered prompts and existing methods for automatic prompt generation by up to 25% and 14% respectively. Furthermore, EvoPrompt demonstrates that connecting LLMs with EAs creates synergies, which could inspire further research on the combination of LLMs and conventional algorithms.