RAGCap-Bench: Evaluación de Capacidades de Modelos de Lenguaje en Sistemas de Generación Aumentada con Recuperación Agéntica
RAGCap-Bench: Benchmarking Capabilities of LLMs in Agentic Retrieval Augmented Generation Systems
October 15, 2025
Autores: Jingru Lin, Chen Zhang, Stephen Y. Liu, Haizhou Li
cs.AI
Resumen
La Generación Aumentada por Recuperación (RAG, por sus siglas en inglés) mitiga limitaciones clave de los Modelos de Lenguaje a Gran Escala (LLMs), como errores fácticos, conocimiento desactualizado y alucinaciones, al recuperar dinámicamente información externa. Trabajos recientes extienden este paradigma a través de sistemas RAG agentivos, donde los LLMs actúan como agentes para planificar, recuperar y razonar de manera iterativa sobre consultas complejas. Sin embargo, estos sistemas aún enfrentan dificultades con preguntas desafiantes de múltiples saltos, y sus capacidades de razonamiento intermedio siguen siendo poco exploradas. Para abordar esto, proponemos RAGCap-Bench, un punto de referencia orientado a capacidades para la evaluación detallada de tareas intermedias en flujos de trabajo RAG agentivos. Analizamos las salidas de sistemas de vanguardia para identificar tareas comunes y las capacidades centrales requeridas para su ejecución, luego construimos una taxonomía de errores típicos de los LLMs para diseñar preguntas de evaluación específicas. Los experimentos muestran que los modelos de "pensamiento lento" con un mejor desempeño en RAGCap logran resultados de extremo a extremo superiores, destacando la validez del punto de referencia y la importancia de mejorar estas capacidades intermedias.
English
Retrieval-Augmented Generation (RAG) mitigates key limitations of Large
Language Models (LLMs)-such as factual errors, outdated knowledge, and
hallucinations-by dynamically retrieving external information. Recent work
extends this paradigm through agentic RAG systems, where LLMs act as agents to
iteratively plan, retrieve, and reason over complex queries. However, these
systems still struggle with challenging multi-hop questions, and their
intermediate reasoning capabilities remain underexplored. To address this, we
propose RAGCap-Bench, a capability-oriented benchmark for fine-grained
evaluation of intermediate tasks in agentic RAG workflows. We analyze outputs
from state-of-the-art systems to identify common tasks and the core
capabilities required for their execution, then construct a taxonomy of typical
LLM errors to design targeted evaluation questions. Experiments show that
"slow-thinking" models with stronger RAGCap performance achieve better
end-to-end results, underscoring the benchmark's validity and the importance of
enhancing these intermediate capabilities.