Encuesta sobre la Evaluación de Agentes Basados en Modelos de Lenguaje de Gran Escala

Survey on Evaluation of LLM-based Agents

March 20, 2025

Autores: Asaf Yehudai, Lilach Eden, Alan Li, Guy Uziel, Yilun Zhao, Roy Bar-Haim, Arman Cohan, Michal Shmueli-Scheuer

cs.AI

Resumen

El surgimiento de agentes basados en LLM representa un cambio de paradigma en la IA, permitiendo que los sistemas autónomos planifiquen, razonen, utilicen herramientas y mantengan memoria mientras interactúan con entornos dinámicos. Este artículo ofrece la primera encuesta exhaustiva sobre metodologías de evaluación para estos agentes cada vez más capaces. Analizamos sistemáticamente los puntos de referencia y marcos de evaluación en cuatro dimensiones críticas: (1) capacidades fundamentales del agente, incluyendo planificación, uso de herramientas, autorreflexión y memoria; (2) puntos de referencia específicos para aplicaciones en agentes web, ingeniería de software, científicos y conversacionales; (3) puntos de referencia para agentes generalistas; y (4) marcos para evaluar agentes. Nuestro análisis revela tendencias emergentes, incluyendo un cambio hacia evaluaciones más realistas y desafiantes con puntos de referencia actualizados continuamente. También identificamos brechas críticas que la investigación futura debe abordar, particularmente en la evaluación de la rentabilidad, seguridad y robustez, y en el desarrollo de métodos de evaluación detallados y escalables. Esta encuesta mapea el panorama en rápida evolución de la evaluación de agentes, revela las tendencias emergentes en el campo, identifica las limitaciones actuales y propone direcciones para futuras investigaciones.

English

The emergence of LLM-based agents represents a paradigm shift in AI, enabling autonomous systems to plan, reason, use tools, and maintain memory while interacting with dynamic environments. This paper provides the first comprehensive survey of evaluation methodologies for these increasingly capable agents. We systematically analyze evaluation benchmarks and frameworks across four critical dimensions: (1) fundamental agent capabilities, including planning, tool use, self-reflection, and memory; (2) application-specific benchmarks for web, software engineering, scientific, and conversational agents; (3) benchmarks for generalist agents; and (4) frameworks for evaluating agents. Our analysis reveals emerging trends, including a shift toward more realistic, challenging evaluations with continuously updated benchmarks. We also identify critical gaps that future research must address-particularly in assessing cost-efficiency, safety, and robustness, and in developing fine-grained, and scalable evaluation methods. This survey maps the rapidly evolving landscape of agent evaluation, reveals the emerging trends in the field, identifies current limitations, and proposes directions for future research.