GEPA: L'evoluzione riflessiva dei prompt può superare l'apprendimento per rinforzo

GEPA: Reflective Prompt Evolution Can Outperform Reinforcement Learning

July 25, 2025

Autori: Lakshya A Agrawal, Shangyin Tan, Dilara Soylu, Noah Ziems, Rishi Khare, Krista Opsahl-Ong, Arnav Singhvi, Herumb Shandilya, Michael J Ryan, Meng Jiang, Christopher Potts, Koushik Sen, Alexandros G. Dimakis, Ion Stoica, Dan Klein, Matei Zaharia, Omar Khattab

cs.AI

Abstract

I modelli linguistici di grandi dimensioni (LLM) sono sempre più adattati a compiti specifici attraverso metodi di apprendimento per rinforzo (RL) come l'ottimizzazione delle politiche relative ai gruppi (GRPO), che spesso richiedono migliaia di esecuzioni per apprendere nuovi compiti. Sosteniamo che la natura interpretabile del linguaggio possa spesso fornire un mezzo di apprendimento molto più ricco per gli LLM, rispetto ai gradienti delle politiche derivati da ricompense scalari e sparse. Per testare questa ipotesi, introduciamo GEPA (Genetic-Pareto), un ottimizzatore di prompt che incorpora in modo approfondito la riflessione in linguaggio naturale per apprendere regole di alto livello attraverso tentativi ed errori. Dato qualsiasi sistema di intelligenza artificiale contenente uno o più prompt di LLM, GEPA campiona traiettorie a livello di sistema (ad esempio, ragionamenti, chiamate a strumenti e output degli strumenti) e riflette su di esse in linguaggio naturale per diagnosticare problemi, proporre e testare aggiornamenti dei prompt, e combinare lezioni complementari dalla frontiera di Pareto dei propri tentativi. Grazie al design di GEPA, è spesso in grado di trasformare anche solo poche esecuzioni in un significativo miglioramento della qualità. In quattro compiti, GEPA supera GRPO in media del 10% e fino al 20%, utilizzando fino a 35 volte meno esecuzioni. GEPA supera anche il principale ottimizzatore di prompt, MIPROv2, di oltre il 10% su due LLM, e dimostra risultati promettenti come strategia di ricerca in fase di inferenza per l'ottimizzazione del codice.

English

Large language models (LLMs) are increasingly adapted to downstream tasks via reinforcement learning (RL) methods like Group Relative Policy Optimization (GRPO), which often require thousands of rollouts to learn new tasks. We argue that the interpretable nature of language can often provide a much richer learning medium for LLMs, compared with policy gradients derived from sparse, scalar rewards. To test this, we introduce GEPA (Genetic-Pareto), a prompt optimizer that thoroughly incorporates natural language reflection to learn high-level rules from trial and error. Given any AI system containing one or more LLM prompts, GEPA samples system-level trajectories (e.g., reasoning, tool calls, and tool outputs) and reflects on them in natural language to diagnose problems, propose and test prompt updates, and combine complementary lessons from the Pareto frontier of its own attempts. As a result of GEPA's design, it can often turn even just a few rollouts into a large quality gain. Across four tasks, GEPA outperforms GRPO by 10% on average and by up to 20%, while using up to 35x fewer rollouts. GEPA also outperforms the leading prompt optimizer, MIPROv2, by over 10% across two LLMs, and demonstrates promising results as an inference-time search strategy for code optimization.