Cuándo deben preguntar los agentes de búsqueda: DiscoBench para la búsqueda profunda consciente de la clarificación

Resumen

Los agentes de búsqueda impulsados por modelos de lenguaje de gran escala (LLMs) se utilizan cada vez más para resolver tareas complejas de búsqueda de información que requieren recuperación y razonamiento de múltiples pasos para cumplir los objetivos del usuario. Sin embargo, los puntos de referencia existentes a menudo asumen que las consultas de los usuarios son completas y explícitas, pasando por alto el hecho de que las solicitudes de búsqueda del mundo real suelen ser vagas, imprecisas o incluso fácticamente incorrectas. En escenarios de búsqueda profunda, dicha ambigüedad puede propagarse a lo largo de cadenas de razonamiento de múltiples pasos y dirigir a los agentes hacia trayectorias de búsqueda incorrectas. Para abordar esta brecha, presentamos DiscoBench, un punto de referencia para la búsqueda profunda consciente de la clarificación, diseñado para evaluar si los agentes de búsqueda pueden identificar proactivamente la ambigüedad, formular preguntas de clarificación efectivas y recuperar trayectorias de razonamiento correctas mediante la interacción con el usuario. DiscoBench contiene 211 muestras y 463 instancias de ambigüedad en 11 dominios del mundo real, cubriendo cuatro tipos de ambigüedad. Además, diseñamos un simulador de usuario para la interacción de múltiples turnos y evaluamos el rendimiento del modelo desde cuatro perspectivas: utilidad de la tarea, detección de ambigüedad, estrategia de interacción y eficiencia de costos. Los experimentos con LLMs representativos muestran que la detección de ambigüedad y la clarificación efectiva son capacidades distintas, y que buscar repetidamente en lugar de solicitar una clarificación a menudo funciona peor que adivinar directamente, lo que resalta una brecha crítica entre la capacidad de recuperación y la resolución interactiva de problemas en los agentes de búsqueda actuales.

English

Search agents powered by large language models (LLMs) are increasingly used to solve complex information-seeking tasks, requiring multi-step retrieval and reasoning to fulfill user goals. However, existing benchmarks often assume that user queries are complete and explicit, overlooking the fact that real-world search requests are frequently vague, underspecified, or even factually incorrect. In deep search scenarios, such ambiguity can propagate along multi-step reasoning chains and lead agents toward incorrect search trajectories. To address this gap, we introduce DiscoBench, a benchmark for clarification-aware deep search, designed to evaluate whether search agents can proactively identify ambiguity, ask effective clarification questions, and recover correct reasoning paths through user interaction. DiscoBench contains 211 samples and 463 ambiguity instances across 11 real-world domains, covering four ambiguity types. We further design a user simulator for multi-turn interaction and evaluate model performance from four perspectives: task utility, ambiguity detection, interaction strategy, and cost efficiency. Experiments on representative LLMs show that ambiguity detection and effective clarification are distinct capabilities, and that repeatedly searching instead of asking for clarification often performs worse than direct guessing, highlighting a critical gap between retrieval ability and interactive problem-solving in current search agents.