GEPA: Reflektive Prompt-Evolution kann Reinforcement Learning übertreffen

GEPA: Reflective Prompt Evolution Can Outperform Reinforcement Learning

July 25, 2025

papers.authors: Lakshya A Agrawal, Shangyin Tan, Dilara Soylu, Noah Ziems, Rishi Khare, Krista Opsahl-Ong, Arnav Singhvi, Herumb Shandilya, Michael J Ryan, Meng Jiang, Christopher Potts, Koushik Sen, Alexandros G. Dimakis, Ion Stoica, Dan Klein, Matei Zaharia, Omar Khattab

cs.AI

papers.abstract

Große Sprachmodelle (LLMs) werden zunehmend durch Reinforcement-Learning (RL)-Methoden wie Group Relative Policy Optimization (GRPO) an nachgelagerte Aufgaben angepasst, was oft Tausende von Durchläufen erfordert, um neue Aufgaben zu erlernen. Wir argumentieren, dass die interpretierbare Natur der Sprache oft ein viel reichhaltigeres Lernmedium für LLMs darstellen kann, verglichen mit Policy-Gradienten, die aus spärlichen, skalaren Belohnungen abgeleitet werden. Um dies zu testen, führen wir GEPA (Genetic-Pareto) ein, einen Prompt-Optimierer, der natürliche Sprachreflexion umfassend einbezieht, um auf hoher Ebene Regeln aus Versuch und Irrtum zu lernen. Bei jedem KI-System, das einen oder mehrere LLM-Prompts enthält, erfasst GEPA systemweite Trajektorien (z.B. Argumentation, Tool-Aufrufe und Tool-Ergebnisse) und reflektiert diese in natürlicher Sprache, um Probleme zu diagnostizieren, Prompt-Updates vorzuschlagen und zu testen sowie komplementäre Erkenntnisse aus der Pareto-Front seiner eigenen Versuche zu kombinieren. Aufgrund des Designs von GEPA kann es oft bereits aus wenigen Durchläufen eine erhebliche Qualitätssteigerung erzielen. Über vier Aufgaben hinweg übertrifft GEPA GRPO im Durchschnitt um 10 % und bis zu 20 %, während es bis zu 35-mal weniger Durchläufe verwendet. GEPA übertrifft auch den führenden Prompt-Optimierer, MIPROv2, bei zwei LLMs um über 10 % und zeigt vielversprechende Ergebnisse als Suchstrategie zur Inferenzzeit für die Code-Optimierung.

English

Large language models (LLMs) are increasingly adapted to downstream tasks via reinforcement learning (RL) methods like Group Relative Policy Optimization (GRPO), which often require thousands of rollouts to learn new tasks. We argue that the interpretable nature of language can often provide a much richer learning medium for LLMs, compared with policy gradients derived from sparse, scalar rewards. To test this, we introduce GEPA (Genetic-Pareto), a prompt optimizer that thoroughly incorporates natural language reflection to learn high-level rules from trial and error. Given any AI system containing one or more LLM prompts, GEPA samples system-level trajectories (e.g., reasoning, tool calls, and tool outputs) and reflects on them in natural language to diagnose problems, propose and test prompt updates, and combine complementary lessons from the Pareto frontier of its own attempts. As a result of GEPA's design, it can often turn even just a few rollouts into a large quality gain. Across four tasks, GEPA outperforms GRPO by 10% on average and by up to 20%, while using up to 35x fewer rollouts. GEPA also outperforms the leading prompt optimizer, MIPROv2, by over 10% across two LLMs, and demonstrates promising results as an inference-time search strategy for code optimization.