DeepResearchGym: Un entorno de evaluación gratuito, transparente y reproducible para la investigación profunda

DeepResearchGym: A Free, Transparent, and Reproducible Evaluation Sandbox for Deep Research

May 25, 2025

Autores: João Coelho, Jingjie Ning, Jingyuan He, Kangrui Mao, Abhijay Paladugu, Pranav Setlur, Jiahe Jin, Jamie Callan, João Magalhães, Bruno Martins, Chenyan Xiong

cs.AI

Resumen

Los sistemas de investigación profunda representan una clase emergente de métodos de recuperación de información agentiva que generan informes exhaustivos y bien fundamentados para consultas complejas. Sin embargo, la mayoría de los marcos existentes dependen de APIs de búsqueda comerciales dinámicas, lo que plantea desafíos de reproducibilidad y transparencia, además de su costo. Para abordar estas limitaciones, presentamos DeepResearchGym, un entorno de pruebas de código abierto que combina una API de búsqueda reproducible con un protocolo de evaluación riguroso para comparar sistemas de investigación profunda. La API indexa corpus web públicos a gran escala, específicamente ClueWeb22 y FineWeb, utilizando un recuperador denso de última generación y búsqueda de vecinos más cercanos aproximada mediante DiskANN. Logra una latencia menor que las APIs comerciales populares, al tiempo que garantiza clasificaciones de documentos estables entre ejecuciones, y está disponible gratuitamente para uso en investigación. Para evaluar los resultados de los sistemas de investigación profunda, ampliamos el benchmark Researchy Questions con métricas automáticas a través de evaluaciones LLM-as-a-judge para medir la alineación con las necesidades de información de los usuarios, la fidelidad en la recuperación y la calidad del informe. Los resultados experimentales muestran que los sistemas integrados con DeepResearchGym logran un rendimiento comparable a los que utilizan APIs comerciales, manteniéndose consistentes las clasificaciones de rendimiento en todas las métricas de evaluación. Un estudio de evaluación humana confirma además que nuestro protocolo automático se alinea con las preferencias humanas, validando la capacidad del marco para apoyar la evaluación controlada de sistemas de investigación profunda. Nuestro código y la documentación de la API están disponibles en https://www.deepresearchgym.ai.

English

Deep research systems represent an emerging class of agentic information retrieval methods that generate comprehensive and well-supported reports to complex queries. However, most existing frameworks rely on dynamic commercial search APIs, which pose reproducibility and transparency challenges in addition to their cost. To address these limitations, we introduce DeepResearchGym, an open-source sandbox that combines a reproducible search API with a rigorous evaluation protocol for benchmarking deep research systems. The API indexes large-scale public web corpora, namely ClueWeb22 and FineWeb, using a state-of-the-art dense retriever and approximate nearest neighbor search via DiskANN. It achieves lower latency than popular commercial APIs while ensuring stable document rankings across runs, and is freely available for research use. To evaluate deep research systems' outputs, we extend the Researchy Questions benchmark with automatic metrics through LLM-as-a-judge assessments to measure alignment with users' information needs, retrieval faithfulness, and report quality. Experimental results show that systems integrated with DeepResearchGym achieve performance comparable to those using commercial APIs, with performance rankings remaining consistent across evaluation metrics. A human evaluation study further confirms that our automatic protocol aligns with human preferences, validating the framework's ability to help support controlled assessment of deep research systems. Our code and API documentation are available at https://www.deepresearchgym.ai.