Web2BigTable: Um Sistema Bi-Level Multi-Agent LLM para Busca e Extração de Informações em Escala da Internet

Resumo

A busca na web com agentes enfrenta cada vez mais duas demandas distintas: o raciocínio profundo sobre um único alvo e a agregação estruturada através de múltiplas entidades e fontes heterogêneas. Os sistemas atuais apresentam dificuldades em ambas as frentes. Tarefas orientadas à amplitude exigem saídas alinhadas a esquemas, com ampla cobertura e consistência entre entidades, enquanto tarefas orientadas à profundidade requerem raciocínio coerente sobre trajetórias de busca longas e ramificadas. Apresentamos o Web2BigTable, uma arquitetura multiagente para busca web-para-tabela que suporta ambos os regimes. O Web2BigTable adota uma arquitetura de dois níveis na qual um orquestrador de nível superior decompõe a tarefa em subproblemas e agentes trabalhadores de nível inferior os resolvem em paralelo. Através de um processo de ciclo fechado executar-verificar-refletir, a estrutura melhora conjuntamente a decomposição e a execução ao longo do tempo por meio de uma memória externa persistente e legível por humanos, com atualizações de auto-evolução para cada agente individual. Durante a execução, os trabalhadores coordenam-se através de um espaço de trabalho compartilhado que torna as descobertas parciais visíveis, permitindo-lhes reduzir a exploração redundante, reconciliar evidências conflitantes e adaptar-se a lacunas de cobertura emergentes. O Web2BigTable estabelece um novo estado da arte no WideSearch, atingindo uma Taxa de Sucesso Avg@4 de 38.50 (7.5 vezes o segundo melhor, com 5.10), F1 de Linha de 63.53 (+25.03 acima do segundo melhor) e F1 de Item de 80.12 (+14.42 acima do segundo melhor). Ele também generaliza para busca orientada à profundidade no XBench-DeepSearch, alcançando 73.0 de precisão. O código está disponível em https://github.com/web2bigtable/web2bigtable.

English

Agentic web search increasingly faces two distinct demands: deep reasoning over a single target, and structured aggregation across many entities and heterogeneous sources. Current systems struggle on both fronts. Breadth-oriented tasks demand schema-aligned outputs with wide coverage and cross-entity consistency, while depth-oriented tasks require coherent reasoning over long, branching search trajectories. We introduce Web2BigTable, a multi-agent framework for web-to-table search that supports both regimes. Web2BigTable adopts a bi-level architecture in which an upper-level orchestrator decomposes the task into sub-problems and lower-level worker agents solve them in parallel. Through a closed-loop run--verify--reflect process, the framework jointly improves decomposition and execution over time via persistent, human-readable external memory, with self-evolving updates to each single-agent. During execution, workers coordinate through a shared workspace that makes partial findings visible, allowing them to reduce redundant exploration, reconcile conflicting evidence, and adapt to emerging coverage gaps. Web2BigTable sets a new state of the art on WideSearch, reaching an Avg@4 Success Rate of 38.50 (7.5times the second best at 5.10), Row F1 of 63.53 (+25.03 over the second best), and Item F1 of 80.12 (+14.42 over the second best). It also generalises to depth-oriented search on XBench-DeepSearch, achieving 73.0 accuracy. Code is available at https://github.com/web2bigtable/web2bigtable.