Enquête sur l'évaluation des agents basés sur des modèles de langage de grande taille

Survey on Evaluation of LLM-based Agents

March 20, 2025

Auteurs: Asaf Yehudai, Lilach Eden, Alan Li, Guy Uziel, Yilun Zhao, Roy Bar-Haim, Arman Cohan, Michal Shmueli-Scheuer

cs.AI

Résumé

L'émergence d'agents basés sur des modèles de langage de grande taille (LLM) marque un changement de paradigme dans l'IA, permettant à des systèmes autonomes de planifier, raisonner, utiliser des outils et maintenir une mémoire tout en interagissant avec des environnements dynamiques. Cet article propose la première étude exhaustive des méthodologies d'évaluation pour ces agents de plus en plus performants. Nous analysons systématiquement les benchmarks et cadres d'évaluation selon quatre dimensions critiques : (1) les capacités fondamentales des agents, incluant la planification, l'utilisation d'outils, l'auto-réflexion et la mémoire ; (2) les benchmarks spécifiques aux applications pour les agents web, d'ingénierie logicielle, scientifiques et conversationnels ; (3) les benchmarks pour les agents généralistes ; et (4) les cadres d'évaluation des agents. Notre analyse révèle des tendances émergentes, notamment un virage vers des évaluations plus réalistes et exigeantes avec des benchmarks continuellement mis à jour. Nous identifions également des lacunes critiques que les recherches futures devront combler, en particulier dans l'évaluation de la rentabilité, de la sécurité et de la robustesse, ainsi que dans le développement de méthodes d'évaluation fines et évolutives. Cette étude cartographie le paysage en rapide évolution de l'évaluation des agents, met en lumière les tendances émergentes dans le domaine, identifie les limites actuelles et propose des orientations pour les recherches futures.

English

The emergence of LLM-based agents represents a paradigm shift in AI, enabling autonomous systems to plan, reason, use tools, and maintain memory while interacting with dynamic environments. This paper provides the first comprehensive survey of evaluation methodologies for these increasingly capable agents. We systematically analyze evaluation benchmarks and frameworks across four critical dimensions: (1) fundamental agent capabilities, including planning, tool use, self-reflection, and memory; (2) application-specific benchmarks for web, software engineering, scientific, and conversational agents; (3) benchmarks for generalist agents; and (4) frameworks for evaluating agents. Our analysis reveals emerging trends, including a shift toward more realistic, challenging evaluations with continuously updated benchmarks. We also identify critical gaps that future research must address-particularly in assessing cost-efficiency, safety, and robustness, and in developing fine-grained, and scalable evaluation methods. This survey maps the rapidly evolving landscape of agent evaluation, reveals the emerging trends in the field, identifies current limitations, and proposes directions for future research.