Quand les agents de recherche devraient demander : DiscoBench pour une recherche approfondie sensible aux clarifications

Résumé

Les agents de recherche alimentés par des modèles de langage de grande taille (LLMs) sont de plus en plus utilisés pour résoudre des tâches complexes de recherche d'informations, nécessitant un raisonnement et une récupération en plusieurs étapes pour atteindre les objectifs des utilisateurs. Cependant, les référentiels existants supposent souvent que les requêtes des utilisateurs sont complètes et explicites, négligeant le fait que les demandes de recherche réelles sont fréquemment vagues, sous-spécifiées, voire factuellement incorrectes. Dans les scénarios de recherche approfondie, une telle ambiguïté peut se propager le long des chaînes de raisonnement en plusieurs étapes et orienter les agents vers des trajectoires de recherche incorrectes. Pour combler cette lacune, nous introduisons DiscoBench, un référentiel pour la recherche approfondie tenant compte de la clarification, conçu pour évaluer si les agents de recherche peuvent identifier proactivement l'ambiguïté, poser des questions de clarification efficaces et rétablir des chemins de raisonnement corrects grâce à l'interaction avec l'utilisateur. DiscoBench contient 211 échantillons et 463 instances d'ambiguïté couvrant 11 domaines du monde réel et quatre types d'ambiguïté. Nous concevons en outre un simulateur utilisateur pour l'interaction à plusieurs tours et évaluons les performances des modèles sous quatre angles : l'utilité de la tâche, la détection des ambiguïtés, la stratégie d'interaction et l'efficacité des coûts. Des expériences menées sur des LLMs représentatifs montrent que la détection des ambiguïtés et la clarification efficace sont des capacités distinctes, et que le fait de rechercher à plusieurs reprises au lieu de demander une clarification donne souvent de moins bons résultats qu'une simple estimation directe, soulignant un écart critique entre la capacité de récupération et la résolution interactive de problèmes dans les agents de recherche actuels.

English

Search agents powered by large language models (LLMs) are increasingly used to solve complex information-seeking tasks, requiring multi-step retrieval and reasoning to fulfill user goals. However, existing benchmarks often assume that user queries are complete and explicit, overlooking the fact that real-world search requests are frequently vague, underspecified, or even factually incorrect. In deep search scenarios, such ambiguity can propagate along multi-step reasoning chains and lead agents toward incorrect search trajectories. To address this gap, we introduce DiscoBench, a benchmark for clarification-aware deep search, designed to evaluate whether search agents can proactively identify ambiguity, ask effective clarification questions, and recover correct reasoning paths through user interaction. DiscoBench contains 211 samples and 463 ambiguity instances across 11 real-world domains, covering four ambiguity types. We further design a user simulator for multi-turn interaction and evaluate model performance from four perspectives: task utility, ambiguity detection, interaction strategy, and cost efficiency. Experiments on representative LLMs show that ambiguity detection and effective clarification are distinct capabilities, and that repeatedly searching instead of asking for clarification often performs worse than direct guessing, highlighting a critical gap between retrieval ability and interactive problem-solving in current search agents.