Когда поисковым агентам следует спрашивать: DiscoBench для глубокого поиска с учетом уточнений

Аннотация

Поисковые агенты на основе больших языковых моделей (LLM) все чаще используются для решения сложных задач информационного поиска, требующих многошагового извлечения и рассуждения для достижения целей пользователя. Однако существующие бенчмарки часто предполагают, что пользовательские запросы являются полными и явными, не учитывая тот факт, что реальные поисковые запросы зачастую расплывчаты, недостаточно конкретизированы или даже фактически неверны. В сценариях глубокого поиска такая неоднозначность может распространяться по многошаговым цепочкам рассуждений и приводить агентов к ошибочным поисковым траекториям. Для устранения этого пробела мы представляем DiscoBench — бенчмарк для глубокого поиска с осознанием необходимости уточнения, предназначенный для оценки способности поисковых агентов проактивно выявлять неоднозначность, задавать эффективные уточняющие вопросы и восстанавливать корректные пути рассуждения в ходе взаимодействия с пользователем. DiscoBench содержит 211 образцов и 463 случая неоднозначности из 11 реальных предметных областей, охватывающих четыре типа неоднозначности. Мы также разработали симулятор пользователя для многошагового взаимодействия и оцениваем производительность моделей с четырех точек зрения: полезность задачи, обнаружение неоднозначности, стратегия взаимодействия и экономическая эффективность. Эксперименты на репрезентативных LLM показывают, что обнаружение неоднозначности и эффективное уточнение представляют собой различные способности, а повторный поиск вместо запроса уточнения часто оказывается хуже прямого угадывания, что подчеркивает критический разрыв между способностью к поиску и интерактивным решением проблем в современных поисковых агентах.

English

Search agents powered by large language models (LLMs) are increasingly used to solve complex information-seeking tasks, requiring multi-step retrieval and reasoning to fulfill user goals. However, existing benchmarks often assume that user queries are complete and explicit, overlooking the fact that real-world search requests are frequently vague, underspecified, or even factually incorrect. In deep search scenarios, such ambiguity can propagate along multi-step reasoning chains and lead agents toward incorrect search trajectories. To address this gap, we introduce DiscoBench, a benchmark for clarification-aware deep search, designed to evaluate whether search agents can proactively identify ambiguity, ask effective clarification questions, and recover correct reasoning paths through user interaction. DiscoBench contains 211 samples and 463 ambiguity instances across 11 real-world domains, covering four ambiguity types. We further design a user simulator for multi-turn interaction and evaluate model performance from four perspectives: task utility, ambiguity detection, interaction strategy, and cost efficiency. Experiments on representative LLMs show that ambiguity detection and effective clarification are distinct capabilities, and that repeatedly searching instead of asking for clarification often performs worse than direct guessing, highlighting a critical gap between retrieval ability and interactive problem-solving in current search agents.