Overzicht van Evaluatie van LLM-gebaseerde Agents

Survey on Evaluation of LLM-based Agents

March 20, 2025

Auteurs: Asaf Yehudai, Lilach Eden, Alan Li, Guy Uziel, Yilun Zhao, Roy Bar-Haim, Arman Cohan, Michal Shmueli-Scheuer

cs.AI

Samenvatting

De opkomst van LLM-gebaseerde agents markeert een paradigmaverschuiving in AI, waardoor autonome systemen kunnen plannen, redeneren, tools gebruiken en geheugen behouden terwijl ze interacteren met dynamische omgevingen. Dit artikel biedt de eerste uitgebreide overzicht van evaluatiemethodologieën voor deze steeds capabelere agents. We analyseren systematisch evaluatiebenchmarks en -frameworks langs vier kritische dimensies: (1) fundamentele agentvaardigheden, waaronder planning, toolgebruik, zelfreflectie en geheugen; (2) toepassingsspecifieke benchmarks voor web-, software engineering-, wetenschappelijke en conversatieagents; (3) benchmarks voor generalistische agents; en (4) frameworks voor het evalueren van agents. Onze analyse onthult opkomende trends, waaronder een verschuiving naar meer realistische, uitdagende evaluaties met continu bijgewerkte benchmarks. We identificeren ook kritieke lacunes die toekomstig onderzoek moet aanpakken—met name op het gebied van kostenefficiëntie, veiligheid en robuustheid, en in de ontwikkeling van fijnmazige en schaalbare evaluatiemethoden. Dit overzicht brengt het snel evoluerende landschap van agentevaluatie in kaart, onthult de opkomende trends in het veld, identificeert huidige beperkingen en stelt richtingen voor toekomstig onderzoek voor.

English

The emergence of LLM-based agents represents a paradigm shift in AI, enabling autonomous systems to plan, reason, use tools, and maintain memory while interacting with dynamic environments. This paper provides the first comprehensive survey of evaluation methodologies for these increasingly capable agents. We systematically analyze evaluation benchmarks and frameworks across four critical dimensions: (1) fundamental agent capabilities, including planning, tool use, self-reflection, and memory; (2) application-specific benchmarks for web, software engineering, scientific, and conversational agents; (3) benchmarks for generalist agents; and (4) frameworks for evaluating agents. Our analysis reveals emerging trends, including a shift toward more realistic, challenging evaluations with continuously updated benchmarks. We also identify critical gaps that future research must address-particularly in assessing cost-efficiency, safety, and robustness, and in developing fine-grained, and scalable evaluation methods. This survey maps the rapidly evolving landscape of agent evaluation, reveals the emerging trends in the field, identifies current limitations, and proposes directions for future research.