GEPA : L'évolution des invites réflexives peut surpasser l'apprentissage par renforcement

papers.abstract

Les grands modèles de langage (LLMs) sont de plus en plus adaptés à des tâches en aval via des méthodes d'apprentissage par renforcement (RL) telles que l'Optimisation de Politique Relative par Groupe (GRPO), qui nécessitent souvent des milliers de déploiements pour apprendre de nouvelles tâches. Nous soutenons que la nature interprétable du langage peut souvent offrir un support d'apprentissage bien plus riche pour les LLMs, comparé aux gradients de politique dérivés de récompenses scalaires et sporadiques. Pour tester cela, nous introduisons GEPA (Genetic-Pareto), un optimiseur de prompts qui intègre de manière approfondie la réflexion en langage naturel pour apprendre des règles de haut niveau par essais et erreurs. Étant donné tout système d'IA contenant un ou plusieurs prompts de LLM, GEPA échantillonne des trajectoires au niveau du système (par exemple, raisonnement, appels d'outils et sorties d'outils) et réfléchit sur elles en langage naturel pour diagnostiquer les problèmes, proposer et tester des mises à jour de prompts, et combiner des leçons complémentaires issues de la frontière de Pareto de ses propres tentatives. Grâce à la conception de GEPA, il peut souvent transformer même quelques déploiements en un gain de qualité significatif. Sur quatre tâches, GEPA surpasse GRPO de 10 % en moyenne et jusqu'à 20 %, tout en utilisant jusqu'à 35 fois moins de déploiements. GEPA surpasse également le principal optimiseur de prompts, MIPROv2, de plus de 10 % sur deux LLMs, et démontre des résultats prometteurs en tant que stratégie de recherche au moment de l'inférence pour l'optimisation de code.

English

Large language models (LLMs) are increasingly adapted to downstream tasks via reinforcement learning (RL) methods like Group Relative Policy Optimization (GRPO), which often require thousands of rollouts to learn new tasks. We argue that the interpretable nature of language can often provide a much richer learning medium for LLMs, compared with policy gradients derived from sparse, scalar rewards. To test this, we introduce GEPA (Genetic-Pareto), a prompt optimizer that thoroughly incorporates natural language reflection to learn high-level rules from trial and error. Given any AI system containing one or more LLM prompts, GEPA samples system-level trajectories (e.g., reasoning, tool calls, and tool outputs) and reflects on them in natural language to diagnose problems, propose and test prompt updates, and combine complementary lessons from the Pareto frontier of its own attempts. As a result of GEPA's design, it can often turn even just a few rollouts into a large quality gain. Across four tasks, GEPA outperforms GRPO by 10% on average and by up to 20%, while using up to 35x fewer rollouts. GEPA also outperforms the leading prompt optimizer, MIPROv2, by over 10% across two LLMs, and demonstrates promising results as an inference-time search strategy for code optimization.

GEPA : L'évolution des invites réflexives peut surpasser l'apprentissage par renforcement

GEPA: Reflective Prompt Evolution Can Outperform Reinforcement Learning

papers.abstract

Support