GEPA: Эволюция рефлексивных подсказок может превзойти обучение с подкреплением

GEPA: Reflective Prompt Evolution Can Outperform Reinforcement Learning

July 25, 2025

Авторы: Lakshya A Agrawal, Shangyin Tan, Dilara Soylu, Noah Ziems, Rishi Khare, Krista Opsahl-Ong, Arnav Singhvi, Herumb Shandilya, Michael J Ryan, Meng Jiang, Christopher Potts, Koushik Sen, Alexandros G. Dimakis, Ion Stoica, Dan Klein, Matei Zaharia, Omar Khattab

cs.AI

Аннотация

Крупные языковые модели (LLM) всё чаще адаптируются к решению прикладных задач с использованием методов обучения с подкреплением (RL), таких как Group Relative Policy Optimization (GRPO), которые зачастую требуют тысяч прогонов для освоения новых задач. Мы утверждаем, что интерпретируемая природа языка может предоставить гораздо более богатую среду обучения для LLM по сравнению с градиентами политик, выведенными из редких скалярных наград. Чтобы проверить это, мы представляем GEPA (Genetic-Pareto) — оптимизатор промптов, который активно использует естественно-языковую рефлексию для извлечения высокоуровневых правил из проб и ошибок. Для любой системы искусственного интеллекта, содержащей один или несколько промптов LLM, GEPA анализирует системные траектории (например, рассуждения, вызовы инструментов и их результаты) и отражает их на естественном языке, чтобы диагностировать проблемы, предлагать и тестировать обновления промптов, а также комбинировать взаимодополняющие уроки из Парето-фронта собственных попыток. Благодаря своей конструкции GEPA часто способен превратить даже несколько прогонов в значительное улучшение качества. В четырёх задачах GEPA превосходит GRPO в среднем на 10%, а в некоторых случаях — до 20%, при этом используя до 35 раз меньше прогонов. GEPA также превосходит ведущий оптимизатор промптов, MIPROv2, более чем на 10% на двух LLM и демонстрирует перспективные результаты в качестве стратегии поиска во время вывода для оптимизации кода.

English

Large language models (LLMs) are increasingly adapted to downstream tasks via reinforcement learning (RL) methods like Group Relative Policy Optimization (GRPO), which often require thousands of rollouts to learn new tasks. We argue that the interpretable nature of language can often provide a much richer learning medium for LLMs, compared with policy gradients derived from sparse, scalar rewards. To test this, we introduce GEPA (Genetic-Pareto), a prompt optimizer that thoroughly incorporates natural language reflection to learn high-level rules from trial and error. Given any AI system containing one or more LLM prompts, GEPA samples system-level trajectories (e.g., reasoning, tool calls, and tool outputs) and reflects on them in natural language to diagnose problems, propose and test prompt updates, and combine complementary lessons from the Pareto frontier of its own attempts. As a result of GEPA's design, it can often turn even just a few rollouts into a large quality gain. Across four tasks, GEPA outperforms GRPO by 10% on average and by up to 20%, while using up to 35x fewer rollouts. GEPA also outperforms the leading prompt optimizer, MIPROv2, by over 10% across two LLMs, and demonstrates promising results as an inference-time search strategy for code optimization.