Além da Pesquisa Profunda Monolíngue: Avaliando Agentes e Recuperadores com o BrowseComp-Plus Multilíngue

Resumo

Agentes de pesquisa profunda são cada vez mais avaliados quanto à sua capacidade de buscar evidências, raciocinar sobre fontes recuperadas e produzir respostas fundamentadas. No entanto, os benchmarks de navegação existentes em grande parte assumem que a consulta do usuário e as evidências de apoio estão escritas no mesmo idioma, deixando em aberto se sistemas de busca agentivos podem operar quando evidências relevantes aparecem em outro idioma. Apresentamos o XBCP (Cross-lingual BrowseComp-Plus), um benchmark controlado que preserva o espaço de perguntas e respostas em inglês do BrowseComp-Plus, mas varia os idiomas dos documentos de apoio. O XBCP instancia dois cenários complementares: no cenário cross-linguístico, cada consulta é emparelhada com evidências em um único idioma designado. No cenário multilíngue, o corpus completo de evidências é distribuído igual e aleatoriamente por 12 idiomas, abrangendo regimes de alto e baixo recurso. Avaliamos quatro agentes de pesquisa profunda utilizando recuperadores multilíngues esparsos e densos, medindo a precisão das respostas, a revocação de evidências, o comportamento de busca, a calibração, a fidelidade das citações e a recuperação oráculo. Os resultados revelam uma degradação substancial quando as evidências são traduzidas. Mesmo recuperadores densos e robustos perdem revocação de evidências, e os agentes se tornam menos calibrados e citam evidências de forma menos confiável. Notavelmente, a precisão permanece menor mesmo quando todas as evidências douradas são fornecidas diretamente. Essas descobertas sugerem que a pesquisa profunda cross-linguística expõe tanto falhas de recuperação quanto uma dificuldade independente, do lado do agente, em integrar evidências com idiomas incompatíveis.

English

Deep research agents are increasingly evaluated on their ability to search for evidence, reason over retrieved sources, and produce grounded answers. Existing browsing benchmarks, however, largely assume that the user's query and the supporting evidence are written in the same language, leaving open whether agentic search systems can operate when relevant evidence appears in another language. We introduce XBCP (Cross-lingual BrowseComp-Plus), a controlled benchmark that preserves the English question-and-answer space of BrowseComp-Plus but varies the languages of the supporting documents. XBCP instantiates two complementary settings: in the cross-lingual setting, each query is paired with evidence in a single assigned language. In the multilingual setting, the full evidence corpus is distributed equally and randomly across 12 languages spanning high-resource and low-resource regimes. We evaluate four deep research agents using sparse and dense multilingual retrievers, measuring answer accuracy, evidence recall, search behavior, calibration, citation fidelity, and oracle retrieval. Results reveal substantial degradation when evidence is translated. Even strong, dense retrievers lose evidence recall, and agents become less calibrated and cite evidence less reliably. Notably, accuracy remains lower even when all gold evidence is supplied directly. These findings suggest that cross-lingual deep research exposes both retrieval failures and an independent, agent-side difficulty in integrating language-mismatched evidence.