Indagine sulla Valutazione di Agenti Basati su LLM

Abstract

L'emergere di agenti basati su LLM rappresenta un cambiamento di paradigma nell'IA, consentendo a sistemi autonomi di pianificare, ragionare, utilizzare strumenti e mantenere memoria mentre interagiscono con ambienti dinamici. Questo articolo fornisce la prima rassegna completa delle metodologie di valutazione per questi agenti sempre più capaci. Analizziamo sistematicamente benchmark e framework di valutazione attraverso quattro dimensioni critiche: (1) capacità fondamentali degli agenti, tra cui pianificazione, uso di strumenti, auto-riflessione e memoria; (2) benchmark specifici per applicazioni come agenti web, di ingegneria del software, scientifici e conversazionali; (3) benchmark per agenti generalisti; e (4) framework per la valutazione degli agenti. La nostra analisi rivela tendenze emergenti, tra cui un passaggio verso valutazioni più realistiche e impegnative con benchmark continuamente aggiornati. Identifichiamo inoltre lacune critiche che la ricerca futura dovrà affrontare, in particolare nella valutazione di efficienza dei costi, sicurezza e robustezza, e nello sviluppo di metodi di valutazione granulari e scalabili. Questa rassegna mappa il panorama in rapida evoluzione della valutazione degli agenti, rivela le tendenze emergenti nel campo, identifica le attuali limitazioni e propone direzioni per la ricerca futura.

English

The emergence of LLM-based agents represents a paradigm shift in AI, enabling autonomous systems to plan, reason, use tools, and maintain memory while interacting with dynamic environments. This paper provides the first comprehensive survey of evaluation methodologies for these increasingly capable agents. We systematically analyze evaluation benchmarks and frameworks across four critical dimensions: (1) fundamental agent capabilities, including planning, tool use, self-reflection, and memory; (2) application-specific benchmarks for web, software engineering, scientific, and conversational agents; (3) benchmarks for generalist agents; and (4) frameworks for evaluating agents. Our analysis reveals emerging trends, including a shift toward more realistic, challenging evaluations with continuously updated benchmarks. We also identify critical gaps that future research must address-particularly in assessing cost-efficiency, safety, and robustness, and in developing fine-grained, and scalable evaluation methods. This survey maps the rapidly evolving landscape of agent evaluation, reveals the emerging trends in the field, identifies current limitations, and proposes directions for future research.

Indagine sulla Valutazione di Agenti Basati su LLM

Survey on Evaluation of LLM-based Agents

Abstract

Support