검색 에이전트가 언제 질문해야 하는가: 명확화 인식 심층 검색을 위한 DiscoBench

초록

대규모 언어 모델(LLM)로 구동되는 검색 에이전트는 사용자 목표를 달성하기 위해 다단계 검색과 추론이 필요한 복잡한 정보 탐색 작업을 해결하는 데 점점 더 많이 사용되고 있습니다. 그러나 기존 벤치마크는 종종 사용자 질의가 완전하고 명시적이라고 가정하여, 실제 검색 요청이 자주 모호하거나, 불완전하거나, 심지어 사실적으로 부정확하다는 사실을 간과합니다. 심층 검색 시나리오에서 이러한 모호성은 다단계 추론 체인을 따라 전파되어 에이전트를 잘못된 검색 경로로 이끌 수 있습니다. 이러한 격차를 해결하기 위해, 우리는 DiscoBench를 소개합니다. DiscoBench는 명확화 인식 심층 검색을 위한 벤치마크로, 검색 에이전트가 능동적으로 모호성을 식별하고, 효과적인 명확화 질문을 하며, 사용자 상호작용을 통해 올바른 추론 경로를 복구할 수 있는지 평가하도록 설계되었습니다. DiscoBench는 11개 실제 도메인에 걸쳐 211개의 샘플과 463개의 모호성 인스턴스를 포함하며, 네 가지 모호성 유형을 다룹니다. 또한 다중 턴 상호작용을 위한 사용자 시뮬레이터를 설계하고, 작업 유용성, 모호성 탐지, 상호작용 전략, 비용 효율성의 네 가지 관점에서 모델 성능을 평가합니다. 대표적인 LLM에 대한 실험은 모호성 탐지와 효과적인 명확화가 별개의 능력임을 보여주며, 명확화를 요청하는 대신 반복적으로 검색하는 것이 종종 직접 추측보다 성능이 떨어짐을 나타냅니다. 이는 현재 검색 에이전트에서 검색 능력과 상호작용적 문제 해결 사이에 중요한 간극이 있음을 강조합니다.

English

Search agents powered by large language models (LLMs) are increasingly used to solve complex information-seeking tasks, requiring multi-step retrieval and reasoning to fulfill user goals. However, existing benchmarks often assume that user queries are complete and explicit, overlooking the fact that real-world search requests are frequently vague, underspecified, or even factually incorrect. In deep search scenarios, such ambiguity can propagate along multi-step reasoning chains and lead agents toward incorrect search trajectories. To address this gap, we introduce DiscoBench, a benchmark for clarification-aware deep search, designed to evaluate whether search agents can proactively identify ambiguity, ask effective clarification questions, and recover correct reasoning paths through user interaction. DiscoBench contains 211 samples and 463 ambiguity instances across 11 real-world domains, covering four ambiguity types. We further design a user simulator for multi-turn interaction and evaluate model performance from four perspectives: task utility, ambiguity detection, interaction strategy, and cost efficiency. Experiments on representative LLMs show that ambiguity detection and effective clarification are distinct capabilities, and that repeatedly searching instead of asking for clarification often performs worse than direct guessing, highlighting a critical gap between retrieval ability and interactive problem-solving in current search agents.