RAGCap-Bench: Valutazione delle Capacità dei Modelli Linguistici nei Sistemi di Generazione Aumentata con Recupero Agente
RAGCap-Bench: Benchmarking Capabilities of LLMs in Agentic Retrieval Augmented Generation Systems
October 15, 2025
Autori: Jingru Lin, Chen Zhang, Stephen Y. Liu, Haizhou Li
cs.AI
Abstract
La Generazione Aumentata dal Recupero (RAG) mitiga le principali limitazioni dei Modelli Linguistici di Grande Dimensione (LLM)—come errori fattuali, conoscenza obsoleta e allucinazioni—attraverso il recupero dinamico di informazioni esterne. Recenti lavori estendono questo paradigma attraverso sistemi RAG agentici, in cui gli LLM agiscono come agenti per pianificare, recuperare e ragionare in modo iterativo su query complesse. Tuttavia, questi sistemi continuano a lottare con domande multi-hop impegnative, e le loro capacità di ragionamento intermedio rimangono poco esplorate. Per affrontare questo problema, proponiamo RAGCap-Bench, un benchmark orientato alle capacità per la valutazione granulare dei compiti intermedi nei flussi di lavoro RAG agentici. Analizziamo gli output dei sistemi all'avanguardia per identificare i compiti comuni e le capacità fondamentali necessarie per la loro esecuzione, quindi costruiamo una tassonomia degli errori tipici degli LLM per progettare domande di valutazione mirate. Gli esperimenti dimostrano che i modelli a "pensiero lento" con prestazioni RAGCap più forti ottengono risultati end-to-end migliori, sottolineando la validità del benchmark e l'importanza di potenziare queste capacità intermedie.
English
Retrieval-Augmented Generation (RAG) mitigates key limitations of Large
Language Models (LLMs)-such as factual errors, outdated knowledge, and
hallucinations-by dynamically retrieving external information. Recent work
extends this paradigm through agentic RAG systems, where LLMs act as agents to
iteratively plan, retrieve, and reason over complex queries. However, these
systems still struggle with challenging multi-hop questions, and their
intermediate reasoning capabilities remain underexplored. To address this, we
propose RAGCap-Bench, a capability-oriented benchmark for fine-grained
evaluation of intermediate tasks in agentic RAG workflows. We analyze outputs
from state-of-the-art systems to identify common tasks and the core
capabilities required for their execution, then construct a taxonomy of typical
LLM errors to design targeted evaluation questions. Experiments show that
"slow-thinking" models with stronger RAGCap performance achieve better
end-to-end results, underscoring the benchmark's validity and the importance of
enhancing these intermediate capabilities.