Voorbij Monolinguaal Diepgaand Onderzoek: Evaluatie van Agenten en Retrievers met Cross-linguaal BrowseComp-Plus

Samenvatting

Diepgaande onderzoeksagenten worden steeds vaker beoordeeld op hun vermogen om naar bewijs te zoeken, over opgehaalde bronnen te redeneren en onderbouwde antwoorden te produceren. Bestaande browsemarkers gaan er echter grotendeels van uit dat de query van de gebruiker en het ondersteunende bewijs in dezelfde taal zijn geschreven, waardoor de vraag open blijft of agentische zoeksystemen kunnen functioneren wanneer relevant bewijs in een andere taal verschijnt. We introduceren XBCP (Cross-lingual BrowseComp-Plus), een gecontroleerde benchmark die de Engelse vraag-en-antwoordruimte van BrowseComp-Plus behoudt, maar de talen van de ondersteunende documenten varieert. XBCP concretiseert twee complementaire instellingen: in de cross-linguïstische instelling wordt elke query gekoppeld aan bewijs in één toegewezen taal. In de meertalige instelling wordt het volledige bewijscorpus gelijkmatig en willekeurig verdeeld over 12 talen, variërend van talen met hoge tot lage hulpbronnen. We evalueren vier diepgaande onderzoeksagenten met behulp van sparse en dense meertalige retrievers, waarbij we antwoordnauwkeurigheid, terugvinden van bewijs, zoekgedrag, kalibratie, citatiegetrouwheid en orakelretrieval meten. Resultaten laten een aanzienlijke achteruitgang zien wanneer bewijs wordt vertaald. Zelfs sterke, dense retrievers verliezen het terugvinden van bewijs, en agenten worden minder gekalibreerd en citeren bewijs minder betrouwbaar. Opmerkelijk is dat de nauwkeurigheid lager blijft, zelfs wanneer al het gouden bewijs direct wordt geleverd. Deze bevindingen suggereren dat cross-linguïstisch diepgaand onderzoek zowel retrievalfouten als een onafhankelijke, aan de agentzijde gelegen moeilijkheid bij het integreren van taal-mismatched bewijs blootlegt.

English

Deep research agents are increasingly evaluated on their ability to search for evidence, reason over retrieved sources, and produce grounded answers. Existing browsing benchmarks, however, largely assume that the user's query and the supporting evidence are written in the same language, leaving open whether agentic search systems can operate when relevant evidence appears in another language. We introduce XBCP (Cross-lingual BrowseComp-Plus), a controlled benchmark that preserves the English question-and-answer space of BrowseComp-Plus but varies the languages of the supporting documents. XBCP instantiates two complementary settings: in the cross-lingual setting, each query is paired with evidence in a single assigned language. In the multilingual setting, the full evidence corpus is distributed equally and randomly across 12 languages spanning high-resource and low-resource regimes. We evaluate four deep research agents using sparse and dense multilingual retrievers, measuring answer accuracy, evidence recall, search behavior, calibration, citation fidelity, and oracle retrieval. Results reveal substantial degradation when evidence is translated. Even strong, dense retrievers lose evidence recall, and agents become less calibrated and cite evidence less reliably. Notably, accuracy remains lower even when all gold evidence is supplied directly. These findings suggest that cross-lingual deep research exposes both retrieval failures and an independent, agent-side difficulty in integrating language-mismatched evidence.