RAGCap-Bench: Bewertung der Fähigkeiten von LLMs in agentenbasierten Retrieval-Augmented-Generation-Systemen
RAGCap-Bench: Benchmarking Capabilities of LLMs in Agentic Retrieval Augmented Generation Systems
October 15, 2025
papers.authors: Jingru Lin, Chen Zhang, Stephen Y. Liu, Haizhou Li
cs.AI
papers.abstract
Retrieval-Augmented Generation (RAG) mildert wesentliche Einschränkungen von Large Language Models (LLMs) – wie faktische Fehler, veraltetes Wissen und Halluzinationen – durch die dynamische Einbindung externer Informationen. Aktuelle Arbeiten erweitern dieses Paradigma durch agentenbasierte RAG-Systeme, bei denen LLMs als Agenten fungieren, um komplexe Anfragen iterativ zu planen, Informationen abzurufen und darüber zu schlussfolgern. Dennoch haben diese Systeme weiterhin Schwierigkeiten mit anspruchsvollen Multi-Hop-Fragen, und ihre Fähigkeiten zur Zwischenabläufigen Argumentation bleiben unzureichend erforscht. Um dies zu adressieren, schlagen wir RAGCap-Bench vor, ein fähigkeitsorientiertes Benchmark für die detaillierte Bewertung von Zwischenaufgaben in agentenbasierten RAG-Workflows. Wir analysieren die Ausgaben modernster Systeme, um häufige Aufgaben und die Kernfähigkeiten zu identifizieren, die für deren Ausführung erforderlich sind, und entwickeln anschließend eine Taxonomie typischer LLM-Fehler, um gezielte Evaluationsfragen zu entwerfen. Experimente zeigen, dass „langsam denkende“ Modelle mit stärkerer RAGCap-Leistung bessere End-to-End-Ergebnisse erzielen, was die Validität des Benchmarks und die Bedeutung der Verbesserung dieser Zwischenfähigkeiten unterstreicht.
English
Retrieval-Augmented Generation (RAG) mitigates key limitations of Large
Language Models (LLMs)-such as factual errors, outdated knowledge, and
hallucinations-by dynamically retrieving external information. Recent work
extends this paradigm through agentic RAG systems, where LLMs act as agents to
iteratively plan, retrieve, and reason over complex queries. However, these
systems still struggle with challenging multi-hop questions, and their
intermediate reasoning capabilities remain underexplored. To address this, we
propose RAGCap-Bench, a capability-oriented benchmark for fine-grained
evaluation of intermediate tasks in agentic RAG workflows. We analyze outputs
from state-of-the-art systems to identify common tasks and the core
capabilities required for their execution, then construct a taxonomy of typical
LLM errors to design targeted evaluation questions. Experiments show that
"slow-thinking" models with stronger RAGCap performance achieve better
end-to-end results, underscoring the benchmark's validity and the importance of
enhancing these intermediate capabilities.