DeepResearchGym: Eine kostenlose, transparente und reproduzierbare Evaluationsumgebung für tiefgehende Forschung

DeepResearchGym: A Free, Transparent, and Reproducible Evaluation Sandbox for Deep Research

May 25, 2025

Autoren: João Coelho, Jingjie Ning, Jingyuan He, Kangrui Mao, Abhijay Paladugu, Pranav Setlur, Jiahe Jin, Jamie Callan, João Magalhães, Bruno Martins, Chenyan Xiong

cs.AI

Zusammenfassung

Tiefe Forschungssysteme repräsentieren eine aufstrebende Klasse von agentenbasierten Informationsabrufmethoden, die umfassende und gut fundierte Berichte zu komplexen Anfragen generieren. Die meisten bestehenden Frameworks verlassen sich jedoch auf dynamische kommerzielle Such-APIs, die neben ihren Kosten auch Herausforderungen in Bezug auf Reproduzierbarkeit und Transparenz mit sich bringen. Um diese Einschränkungen zu überwinden, stellen wir DeepResearchGym vor, eine Open-Source-Sandbox, die eine reproduzierbare Such-API mit einem rigorosen Evaluierungsprotokoll zur Bewertung tiefer Forschungssysteme kombiniert. Die API indiziert groß angelegte öffentliche Webkorpora, nämlich ClueWeb22 und FineWeb, unter Verwendung eines modernen dichten Retrievers und einer approximativen nächsten Nachbarsuche via DiskANN. Sie erreicht eine geringere Latenz als populäre kommerzielle APIs und gewährleistet stabile Dokumentenrankings über mehrere Durchläufe hinweg, wobei sie frei für Forschungszwecke verfügbar ist. Um die Ausgaben tiefer Forschungssysteme zu bewerten, erweitern wir das Researchy Questions-Benchmark mit automatischen Metriken durch LLM-as-a-Judge-Bewertungen, um die Übereinstimmung mit den Informationsbedürfnissen der Nutzer, die Treue des Abrufs und die Qualität der Berichte zu messen. Experimentelle Ergebnisse zeigen, dass Systeme, die in DeepResearchGym integriert sind, eine vergleichbare Leistung zu denen mit kommerziellen APIs erreichen, wobei die Leistungsrankings über die Evaluierungsmetriken hinweg konsistent bleiben. Eine menschliche Evaluierungsstudie bestätigt weiterhin, dass unser automatisches Protokoll mit menschlichen Präferenzen übereinstimmt, und validiert damit die Fähigkeit des Frameworks, eine kontrollierte Bewertung tiefer Forschungssysteme zu unterstützen. Unser Code und die API-Dokumentation sind unter https://www.deepresearchgym.ai verfügbar.

English

Deep research systems represent an emerging class of agentic information retrieval methods that generate comprehensive and well-supported reports to complex queries. However, most existing frameworks rely on dynamic commercial search APIs, which pose reproducibility and transparency challenges in addition to their cost. To address these limitations, we introduce DeepResearchGym, an open-source sandbox that combines a reproducible search API with a rigorous evaluation protocol for benchmarking deep research systems. The API indexes large-scale public web corpora, namely ClueWeb22 and FineWeb, using a state-of-the-art dense retriever and approximate nearest neighbor search via DiskANN. It achieves lower latency than popular commercial APIs while ensuring stable document rankings across runs, and is freely available for research use. To evaluate deep research systems' outputs, we extend the Researchy Questions benchmark with automatic metrics through LLM-as-a-judge assessments to measure alignment with users' information needs, retrieval faithfulness, and report quality. Experimental results show that systems integrated with DeepResearchGym achieve performance comparable to those using commercial APIs, with performance rankings remaining consistent across evaluation metrics. A human evaluation study further confirms that our automatic protocol aligns with human preferences, validating the framework's ability to help support controlled assessment of deep research systems. Our code and API documentation are available at https://www.deepresearchgym.ai.