LiveBrowseComp: Os agentes de busca estão realmente pesquisando, ou apenas verificando o que já sabem?

Resumo

Agentes de busca baseados em LLMs estão genuinamente pesquisando ou usando a web para verificar o que já sabem? Estudamos esta questão no BrowseComp com três diagnósticos. Nossa análise revela Dependência de Conhecimento Intrínseco (IKD): mesmo com acesso a ferramentas, os agentes frequentemente dependem de conhecimento intrínseco — informações codificadas no modelo antes da recuperação — em vez de evidências externas. Os agentes respondem até 44,5% das perguntas do BrowseComp sem ferramentas, geram mais da metade de suas consultas de busca a partir de hipóteses produzidas internamente, em vez de pistas recuperadas, e apresentam desempenho inferior às linhas de base de livro fechado quando as evidências que sustentam as respostas são removidas. Esses resultados sugerem que benchmarks de busca estáticos podem recompensar a verificação apoiada pela memória, em vez da descoberta orientada por evidências, confundindo o que os agentes já sabem com o que podem encontrar. Em seguida, apresentamos o LiveBrowseComp, um benchmark de busca profunda projetado para avaliar agentes além da cobertura intrínseca. Ele contém 335 perguntas elaboradas por humanos, cujas respostas dependem de fatos publicados nos 90 dias anteriores à construção do benchmark, extraídos de seis fontes atualizadas e filtrados para excluir eventos globalmente salientes. No LiveBrowseComp, todos os agentes avaliados ficam abaixo de 2% de precisão de livro fechado, as pontuações com aumento de busca caem de 25 a 40 pontos em relação ao BrowseComp, e as classificações prévias dos modelos não preveem mais o desempenho de forma confiável. O LiveBrowseComp está disponível em https://huggingface.co/datasets/Forival/LiveBrowseComp.

English

Are LLM-based search agents genuinely searching, or using the web to verify what they already know? We study this question on BrowseComp with three diagnostics. Our analysis reveals Intrinsic Knowledge Dependence (IKD): even with tool access, agents often rely on intrinsic knowledge -- information encoded in the model before retrieval -- rather than on external evidence. Agents answer up to 44.5% of BrowseComp questions without tools, generate more than half of their search queries from internally produced hypotheses rather than retrieved leads, and perform worse than closed-book baselines when answer-supporting evidence is removed. These results suggest that static search benchmarks can reward memory-backed verification rather than evidence-driven discovery, conflating what agents already know with what they can find. We then introduce LiveBrowseComp, a deep-search benchmark designed to evaluate agents beyond intrinsic coverage. It contains 335 human-authored questions whose answers depend on facts published within the 90 days preceding benchmark construction, drawn from six updated sources and filtered to exclude globally salient events. On LiveBrowseComp, all evaluated agents fall below 2% closed-book accuracy, search-augmented scores drop by 25-40 points relative to BrowseComp, and prior model rankings no longer reliably predict performance. LiveBrowseComp is available at https://huggingface.co/datasets/Forival/LiveBrowseComp.