LiveBrowseComp: ¿Buscan los agentes de búsqueda o solo verifican lo que ya saben?

Resumen

¿Los agentes de búsqueda basados en LLM realmente buscan, o utilizan la web para verificar lo que ya saben? Estudiamos esta cuestión en BrowseComp mediante tres diagnósticos. Nuestro análisis revela la Dependencia del Conocimiento Intrínseco (IKD): incluso con acceso a herramientas, los agentes a menudo se apoyan en el conocimiento intrínseco —información codificada en el modelo antes de la recuperación— en lugar de en evidencia externa. Los agentes responden hasta el 44.5% de las preguntas de BrowseComp sin herramientas, generan más de la mitad de sus consultas de búsqueda a partir de hipótesis producidas internamente en lugar de pistas recuperadas, y obtienen peores resultados que las líneas base a libro cerrado cuando se elimina la evidencia que respalda las respuestas. Estos resultados sugieren que los benchmarks de búsqueda estáticos pueden recompensar la verificación respaldada por la memoria en lugar del descubrimiento basado en evidencia, confundiendo lo que los agentes ya saben con lo que pueden encontrar. A continuación, presentamos LiveBrowseComp, un benchmark de búsqueda profunda diseñado para evaluar agentes más allá de la cobertura intrínseca. Contiene 335 preguntas redactadas por humanos cuyas respuestas dependen de hechos publicados durante los 90 días anteriores a la construcción del benchmark, extraídas de seis fuentes actualizadas y filtradas para excluir eventos de relevancia global. En LiveBrowseComp, todos los agentes evaluados obtienen menos del 2% de precisión a libro cerrado, las puntuaciones aumentadas con búsqueda caen entre 25 y 40 puntos en comparación con BrowseComp, y los rankings previos de modelos ya no predicen el rendimiento de manera fiable. LiveBrowseComp está disponible en https://huggingface.co/datasets/Forival/LiveBrowseComp.

English

Are LLM-based search agents genuinely searching, or using the web to verify what they already know? We study this question on BrowseComp with three diagnostics. Our analysis reveals Intrinsic Knowledge Dependence (IKD): even with tool access, agents often rely on intrinsic knowledge -- information encoded in the model before retrieval -- rather than on external evidence. Agents answer up to 44.5% of BrowseComp questions without tools, generate more than half of their search queries from internally produced hypotheses rather than retrieved leads, and perform worse than closed-book baselines when answer-supporting evidence is removed. These results suggest that static search benchmarks can reward memory-backed verification rather than evidence-driven discovery, conflating what agents already know with what they can find. We then introduce LiveBrowseComp, a deep-search benchmark designed to evaluate agents beyond intrinsic coverage. It contains 335 human-authored questions whose answers depend on facts published within the 90 days preceding benchmark construction, drawn from six updated sources and filtered to exclude globally salient events. On LiveBrowseComp, all evaluated agents fall below 2% closed-book accuracy, search-augmented scores drop by 25-40 points relative to BrowseComp, and prior model rankings no longer reliably predict performance. LiveBrowseComp is available at https://huggingface.co/datasets/Forival/LiveBrowseComp.