検索エージェントが質問すべきタイミング：明確化を考慮した深層検索のためのDiscoBench

要旨

大規模言語モデル（LLM）を搭載した検索エージェントは、ユーザの目標を達成するために複数ステップの検索と推論を必要とする複雑な情報探索タスクの解決にますます利用されている。しかし、既存のベンチマークは多くの場合、ユーザのクエリが完全かつ明示的であると仮定しており、現実世界の検索要求が頻繁に曖昧で、十分に指定されておらず、さらには事実誤認を含むことがあるという事実を見落としている。深層検索シナリオでは、このような曖昧性が多段階の推論連鎖に沿って伝播し、エージェントを誤った検索軌道へ導く可能性がある。このギャップに対処するため、我々はDiscoBenchを導入する。これは明確化を考慮した深層検索のためのベンチマークであり、検索エージェントが積極的に曖昧性を特定し、効果的な明確化質問を行い、ユーザとの対話を通じて正しい推論経路を回復できるかどうかを評価するように設計されている。DiscoBenchは、11の実世界ドメインにわたる211サンプルと463の曖昧性インスタンスを含み、4種類の曖昧性をカバーしている。さらに、マルチターン対話のためのユーザシミュレータを設計し、タスク有用性、曖昧性検出、対話戦略、コスト効率の4つの観点からモデルの性能を評価する。代表的なLLMを用いた実験は、曖昧性検出と効果的な明確化が異なる能力であり、明確化を求めずに繰り返し検索することは、しばしば直接的な推測よりも性能が劣ることを示しており、現在の検索エージェントにおける検索能力と対話的問題解決能力との間の重要なギャップを浮き彫りにしている。

English

Search agents powered by large language models (LLMs) are increasingly used to solve complex information-seeking tasks, requiring multi-step retrieval and reasoning to fulfill user goals. However, existing benchmarks often assume that user queries are complete and explicit, overlooking the fact that real-world search requests are frequently vague, underspecified, or even factually incorrect. In deep search scenarios, such ambiguity can propagate along multi-step reasoning chains and lead agents toward incorrect search trajectories. To address this gap, we introduce DiscoBench, a benchmark for clarification-aware deep search, designed to evaluate whether search agents can proactively identify ambiguity, ask effective clarification questions, and recover correct reasoning paths through user interaction. DiscoBench contains 211 samples and 463 ambiguity instances across 11 real-world domains, covering four ambiguity types. We further design a user simulator for multi-turn interaction and evaluate model performance from four perspectives: task utility, ambiguity detection, interaction strategy, and cost efficiency. Experiments on representative LLMs show that ambiguity detection and effective clarification are distinct capabilities, and that repeatedly searching instead of asking for clarification often performs worse than direct guessing, highlighting a critical gap between retrieval ability and interactive problem-solving in current search agents.