Соединение крупных языковых моделей с эволюционными алгоритмами создает мощные оптимизаторы запросов.

Connecting Large Language Models with Evolutionary Algorithms Yields Powerful Prompt Optimizers

September 15, 2023

Авторы: Qingyan Guo, Rui Wang, Junliang Guo, Bei Li, Kaitao Song, Xu Tan, Guoqing Liu, Jiang Bian, Yujiu Yang

cs.AI

Аннотация

Крупные языковые модели (LLM) демонстрируют высокие результаты в различных задачах, но они зависят от тщательно разработанных промптов, создание которых часто требует значительных человеческих усилий. Чтобы автоматизировать этот процесс, в данной статье мы предлагаем новый фреймворк для оптимизации дискретных промптов под названием EvoPrompt, который заимствует идеи эволюционных алгоритмов (EA), известных своей высокой производительностью и быстрой сходимостью. Для того чтобы EA могли работать с дискретными промптами, которые представляют собой естественно-языковые выражения, требующие связности и читаемости, мы объединяем LLM с EA. Этот подход позволяет одновременно использовать мощные языковые возможности LLM и эффективную оптимизационную производительность EA. В частности, избегая использования градиентов или параметров, EvoPrompt начинает с популяции промптов и итеративно генерирует новые промпты с помощью LLM на основе эволюционных операторов, улучшая популяцию на основе тестового набора данных. Мы оптимизируем промпты как для закрытых, так и для открытых LLM, включая GPT-3.5 и Alpaca, на 9 наборах данных, охватывающих задачи понимания и генерации текста. EvoPrompt значительно превосходит промпты, созданные вручную, и существующие методы автоматической генерации промптов, улучшая результаты до 25% и 14% соответственно. Более того, EvoPrompt демонстрирует, что объединение LLM с EA создает синергетический эффект, что может вдохновить дальнейшие исследования на стыке LLM и традиционных алгоритмов.

English

Large Language Models (LLMs) excel in various tasks, but they rely on carefully crafted prompts that often demand substantial human effort. To automate this process, in this paper, we propose a novel framework for discrete prompt optimization, called EvoPrompt, which borrows the idea of evolutionary algorithms (EAs) as they exhibit good performance and fast convergence. To enable EAs to work on discrete prompts, which are natural language expressions that need to be coherent and human-readable, we connect LLMs with EAs. This approach allows us to simultaneously leverage the powerful language processing capabilities of LLMs and the efficient optimization performance of EAs. Specifically, abstaining from any gradients or parameters, EvoPrompt starts from a population of prompts and iteratively generates new prompts with LLMs based on the evolutionary operators, improving the population based on the development set. We optimize prompts for both closed- and open-source LLMs including GPT-3.5 and Alpaca, on 9 datasets spanning language understanding and generation tasks. EvoPrompt significantly outperforms human-engineered prompts and existing methods for automatic prompt generation by up to 25% and 14% respectively. Furthermore, EvoPrompt demonstrates that connecting LLMs with EAs creates synergies, which could inspire further research on the combination of LLMs and conventional algorithms.