Un Benchmark Riguroso con Evaluación Multidimensional para Agentes de Investigación Profunda: De Respuestas a Informes
A Rigorous Benchmark with Multidimensional Evaluation for Deep Research Agents: From Answers to Reports
October 2, 2025
Autores: Yang Yao, Yixu Wang, Yuxuan Zhang, Yi Lu, Tianle Gu, Lingyu Li, Dingyi Zhao, Keming Wu, Haozhe Wang, Ping Nie, Yan Teng, Yingchun Wang
cs.AI
Resumen
La inteligencia artificial está experimentando un cambio de paradigma desde modelos de lenguaje cerrados hacia sistemas de agentes interconectados capaces de percepción externa e integración de información. Como encarnación representativa, los Agentes de Investigación Profunda (Deep Research Agents, DRAs) exhiben sistemáticamente capacidades para la descomposición de tareas, recuperación de información cruzada, razonamiento multietapa y generación de salidas estructuradas, lo que mejora notablemente el rendimiento en tareas complejas y abiertas. Sin embargo, los benchmarks existentes siguen siendo deficientes en dimensiones de evaluación, formato de respuestas y mecanismos de puntuación, limitando su capacidad para evaluar dichos sistemas de manera efectiva. Este artículo presenta un benchmark riguroso y un marco de evaluación multidimensional diseñado específicamente para DRAs y respuestas en formato de informe. El benchmark comprende 214 consultas desafiantes curadas por expertos, distribuidas en 10 dominios temáticos amplios, cada una acompañada de paquetes de referencia construidos manualmente para apoyar la evaluación compuesta. El marco permite una evaluación integral de informes extensos generados por DRAs, incorporando métricas de puntuación integradas para la calidad semántica, el enfoque temático y la confiabilidad de la recuperación. Experimentos extensos confirman el rendimiento superior de los DRAs principales sobre los modelos de razonamiento aumentados con herramientas de búsqueda web, aunque revelan un margen considerable para futuras mejoras. Este estudio proporciona una base sólida para la evaluación de capacidades, el refinamiento arquitectónico y el avance paradigmático en los sistemas DRA.
English
Artificial intelligence is undergoing the paradigm shift from closed language
models to interconnected agent systems capable of external perception and
information integration. As a representative embodiment, Deep Research Agents
(DRAs) systematically exhibit the capabilities for task decomposition,
cross-source retrieval, multi-stage reasoning, and structured output, which
markedly enhance performance on complex and open-ended tasks. However, existing
benchmarks remain deficient in evaluation dimensions, response formatting, and
scoring mechanisms, limiting their capacity to assess such systems effectively.
This paper introduces a rigorous benchmark and a multidimensional evaluation
framework tailored to DRAs and report-style responses. The benchmark comprises
214 expert-curated challenging queries distributed across 10 broad thematic
domains, each accompanied by manually constructed reference bundles to support
composite evaluation. The framework enables comprehensive evaluation of
long-form reports generated by DRAs, incorporating integrated scoring metrics
for semantic quality, topical focus, and retrieval trustworthiness. Extensive
experimentation confirms the superior performance of mainstream DRAs over
web-search-tool-augmented reasoning models, yet reveals considerable scope for
further improvement. This study provides a robust foundation for capability
assessment, architectural refinement, and paradigm advancement in DRA systems.