GEPA: La Evolución de Indicaciones Reflexivas Puede Superar al Aprendizaje por Refuerzo

GEPA: Reflective Prompt Evolution Can Outperform Reinforcement Learning

July 25, 2025

Autores: Lakshya A Agrawal, Shangyin Tan, Dilara Soylu, Noah Ziems, Rishi Khare, Krista Opsahl-Ong, Arnav Singhvi, Herumb Shandilya, Michael J Ryan, Meng Jiang, Christopher Potts, Koushik Sen, Alexandros G. Dimakis, Ion Stoica, Dan Klein, Matei Zaharia, Omar Khattab

cs.AI

Resumen

Los modelos de lenguaje de gran escala (LLMs, por sus siglas en inglés) se están adaptando cada vez más a tareas específicas mediante métodos de aprendizaje por refuerzo (RL, por sus siglas en inglés), como la Optimización de Políticas Relativas de Grupo (GRPO, por sus siglas en inglés), que a menudo requieren miles de iteraciones para aprender nuevas tareas. Argumentamos que la naturaleza interpretable del lenguaje puede proporcionar un medio de aprendizaje mucho más rico para los LLMs, en comparación con los gradientes de política derivados de recompensas escalares y dispersas. Para probar esto, presentamos GEPA (Genetic-Pareto), un optimizador de instrucciones que incorpora exhaustivamente la reflexión en lenguaje natural para aprender reglas de alto nivel a través del ensayo y error. Dado cualquier sistema de IA que contenga una o más instrucciones de LLM, GEPA toma muestras de trayectorias a nivel del sistema (por ejemplo, razonamiento, llamadas a herramientas y salidas de herramientas) y reflexiona sobre ellas en lenguaje natural para diagnosticar problemas, proponer y probar actualizaciones de instrucciones, y combinar lecciones complementarias de la frontera de Pareto de sus propios intentos. Como resultado del diseño de GEPA, a menudo puede convertir incluso unas pocas iteraciones en una gran mejora de calidad. En cuatro tareas, GEPA supera a GRPO en un 10 % en promedio y hasta en un 20 %, mientras utiliza hasta 35 veces menos iteraciones. GEPA también supera al principal optimizador de instrucciones, MIPROv2, en más de un 10 % en dos LLMs, y demuestra resultados prometedores como estrategia de búsqueda en tiempo de inferencia para la optimización de código.

English

Large language models (LLMs) are increasingly adapted to downstream tasks via reinforcement learning (RL) methods like Group Relative Policy Optimization (GRPO), which often require thousands of rollouts to learn new tasks. We argue that the interpretable nature of language can often provide a much richer learning medium for LLMs, compared with policy gradients derived from sparse, scalar rewards. To test this, we introduce GEPA (Genetic-Pareto), a prompt optimizer that thoroughly incorporates natural language reflection to learn high-level rules from trial and error. Given any AI system containing one or more LLM prompts, GEPA samples system-level trajectories (e.g., reasoning, tool calls, and tool outputs) and reflects on them in natural language to diagnose problems, propose and test prompt updates, and combine complementary lessons from the Pareto frontier of its own attempts. As a result of GEPA's design, it can often turn even just a few rollouts into a large quality gain. Across four tasks, GEPA outperforms GRPO by 10% on average and by up to 20%, while using up to 35x fewer rollouts. GEPA also outperforms the leading prompt optimizer, MIPROv2, by over 10% across two LLMs, and demonstrates promising results as an inference-time search strategy for code optimization.