Más allá de la Investigación Profunda Monolingüe: Evaluación de Agentes y Recuperadores con BrowseComp-Plus Multilingüe

Resumen

Los agentes de investigación profunda se evalúan cada vez más por su capacidad para buscar evidencia, razonar sobre fuentes recuperadas y producir respuestas fundamentadas. Sin embargo, los puntos de referencia de búsqueda existentes asumen en gran medida que la consulta del usuario y la evidencia de apoyo están escritas en el mismo idioma, dejando abierta la cuestión de si los sistemas de búsqueda agentivos pueden operar cuando la evidencia relevante aparece en otro idioma. Presentamos XBCP (BrowseComp-Plus interlingüístico), un punto de referencia controlado que preserva el espacio de preguntas y respuestas en inglés de BrowseComp-Plus pero varía los idiomas de los documentos de apoyo. XBCP implementa dos configuraciones complementarias: en la configuración interlingüística, cada consulta se empareja con evidencia en un único idioma asignado. En la configuración multilingüe, el corpus completo de evidencia se distribuye de manera equitativa y aleatoria en 12 idiomas que abarcan regímenes de alto y bajo recurso. Evaluamos cuatro agentes de investigación profunda utilizando recuperadores multilingües dispersos y densos, midiendo la precisión de las respuestas, la recuperación de evidencia, el comportamiento de búsqueda, la calibración, la fidelidad de citación y la recuperación oracular. Los resultados revelan una degradación sustancial cuando la evidencia se traduce. Incluso los recuperadores densos y fuertes pierden recuperación de evidencia, y los agentes se vuelven menos calibrados y citan la evidencia de manera menos confiable. Notablemente, la precisión sigue siendo más baja incluso cuando toda la evidencia dorada se proporciona directamente. Estos hallazgos sugieren que la investigación profunda interlingüística expone tanto fallos de recuperación como una dificultad independiente, del lado del agente, para integrar evidencia con desajuste de idioma.

English

Deep research agents are increasingly evaluated on their ability to search for evidence, reason over retrieved sources, and produce grounded answers. Existing browsing benchmarks, however, largely assume that the user's query and the supporting evidence are written in the same language, leaving open whether agentic search systems can operate when relevant evidence appears in another language. We introduce XBCP (Cross-lingual BrowseComp-Plus), a controlled benchmark that preserves the English question-and-answer space of BrowseComp-Plus but varies the languages of the supporting documents. XBCP instantiates two complementary settings: in the cross-lingual setting, each query is paired with evidence in a single assigned language. In the multilingual setting, the full evidence corpus is distributed equally and randomly across 12 languages spanning high-resource and low-resource regimes. We evaluate four deep research agents using sparse and dense multilingual retrievers, measuring answer accuracy, evidence recall, search behavior, calibration, citation fidelity, and oracle retrieval. Results reveal substantial degradation when evidence is translated. Even strong, dense retrievers lose evidence recall, and agents become less calibrated and cite evidence less reliably. Notably, accuracy remains lower even when all gold evidence is supplied directly. These findings suggest that cross-lingual deep research exposes both retrieval failures and an independent, agent-side difficulty in integrating language-mismatched evidence.