За пределами одноязычного глубокого исследования: оценка агентов и ретроверов с помощью кросс-языкового BrowseComp-Plus

Аннотация

Агенты глубокого исследования всё чаще оцениваются по способности искать доказательства, рассуждать над извлечёнными источниками и давать обоснованные ответы. Существующие ориентиры для тестирования поиска, однако, в значительной степени предполагают, что запрос пользователя и подтверждающие доказательства написаны на одном языке, оставляя открытым вопрос, могут ли системы агентного поиска работать, когда соответствующие доказательства представлены на другом языке. Мы представляем XBCP (Cross-lingual BrowseComp-Plus) — контролируемый эталонный набор, сохраняющий пространство вопросов и ответов на английском языке из BrowseComp-Plus, но варьирующий языки подтверждающих документов. XBCP реализует два взаимодополняющих сценария: в кросс-языковом сценарии каждый запрос сопровождается доказательствами на одном заданном языке; в многоязычном сценарии полный корпус доказательств равномерно и случайным образом распределяется по 12 языкам, охватывающим как высокоресурсные, так и низкоресурсные режимы. Мы оцениваем четырёх агентов глубокого исследования с использованием разреженных и плотных многоязычных ретриверов, измеряя точность ответов, полноту доказательств, поисковое поведение, калибровку, достоверность цитирования и оракульный поиск. Результаты показывают существенную деградацию при переводе доказательств. Даже сильные плотные ретриверы теряют полноту доказательств, агенты становятся менее калиброванными и менее надёжно ссылаются на источники. Примечательно, что точность остаётся ниже, даже если все эталонные доказательства предоставлены напрямую. Эти результаты позволяют предположить, что кросс-языковое глубокое исследование выявляет как сбои в поиске, так и независимую, связанную с агентом трудность интеграции доказательств, не совпадающих по языку.

English

Deep research agents are increasingly evaluated on their ability to search for evidence, reason over retrieved sources, and produce grounded answers. Existing browsing benchmarks, however, largely assume that the user's query and the supporting evidence are written in the same language, leaving open whether agentic search systems can operate when relevant evidence appears in another language. We introduce XBCP (Cross-lingual BrowseComp-Plus), a controlled benchmark that preserves the English question-and-answer space of BrowseComp-Plus but varies the languages of the supporting documents. XBCP instantiates two complementary settings: in the cross-lingual setting, each query is paired with evidence in a single assigned language. In the multilingual setting, the full evidence corpus is distributed equally and randomly across 12 languages spanning high-resource and low-resource regimes. We evaluate four deep research agents using sparse and dense multilingual retrievers, measuring answer accuracy, evidence recall, search behavior, calibration, citation fidelity, and oracle retrieval. Results reveal substantial degradation when evidence is translated. Even strong, dense retrievers lose evidence recall, and agents become less calibrated and cite evidence less reliably. Notably, accuracy remains lower even when all gold evidence is supplied directly. These findings suggest that cross-lingual deep research exposes both retrieval failures and an independent, agent-side difficulty in integrating language-mismatched evidence.