Web2BigTable: 인터넷 규모 정보 검색 및 추출을 위한 이중 수준 다중 에이전트 LLM 시스템

초록

에이전트 기반 웹 검색은 단일 대상에 대한 심층 추론과 다수 엔티티 및 이질적 소스에 걸친 구조화된 집계라는 두 가지 상이한 요구를 점점 더 많이 접하게 됩니다. 기존 시스템은 두 측면 모두에서 어려움을 겪고 있습니다. 폭넓은 작업은 스키마에 정렬된 출력과 광범위한 커버리지 및 교차 엔티티 일관성을 요구하는 반면, 깊이 중심 작업은 길고 분기된 검색 경로에 대한 일관된 추론을 필요로 합니다. 본 논문에서는 두 체계를 모두 지원하는 웹-투-테이블 검색을 위한 다중 에이전트 프레임워크인 Web2BigTable을 소개합니다. Web2BigTable은 상위 레벨 오케스트레이터가 작업을 하위 문제로 분해하고 하위 레벨 작업자 에이전트가 이를 병렬로 해결하는 이중 수준 아키텍처를 채택합니다. 폐쇄형 실행-검증-반성 프로세스를 통해, 이 프레임워크는 인간이 읽을 수 있는 영구 외부 메모리를 이용해 시간에 따라 분해와 실행을 공동으로 개선하며, 단일 에이전트마다 자기 진화적 업데이트를 수행합니다. 실행 중 작업자들은 부분적 발견 결과를 가시화하는 공유 작업 공간을 통해 조정하여 중복 탐색을 줄이고 상충하는 증거를 조정하며 새롭게 나타나는 커버리지 격차에 적응할 수 있습니다. Web2BigTable은 WideSearch에서 새로운 최첨단 성능을 기록하며, Avg@4 성공률 38.50(2위 5.10의 7.5배), Row F1 63.53(2위 대비 +25.03), Item F1 80.12(2위 대비 +14.42)에 도달했습니다. 또한 XBench-DeepSearch에서 깊이 중심 검색으로 일반화되어 73.0%의 정확도를 달성했습니다. 코드는 https://github.com/web2bigtable/web2bigtable 에서 이용할 수 있습니다.

English

Agentic web search increasingly faces two distinct demands: deep reasoning over a single target, and structured aggregation across many entities and heterogeneous sources. Current systems struggle on both fronts. Breadth-oriented tasks demand schema-aligned outputs with wide coverage and cross-entity consistency, while depth-oriented tasks require coherent reasoning over long, branching search trajectories. We introduce Web2BigTable, a multi-agent framework for web-to-table search that supports both regimes. Web2BigTable adopts a bi-level architecture in which an upper-level orchestrator decomposes the task into sub-problems and lower-level worker agents solve them in parallel. Through a closed-loop run--verify--reflect process, the framework jointly improves decomposition and execution over time via persistent, human-readable external memory, with self-evolving updates to each single-agent. During execution, workers coordinate through a shared workspace that makes partial findings visible, allowing them to reduce redundant exploration, reconcile conflicting evidence, and adapt to emerging coverage gaps. Web2BigTable sets a new state of the art on WideSearch, reaching an Avg@4 Success Rate of 38.50 (7.5times the second best at 5.10), Row F1 of 63.53 (+25.03 over the second best), and Item F1 of 80.12 (+14.42 over the second best). It also generalises to depth-oriented search on XBench-DeepSearch, achieving 73.0 accuracy. Code is available at https://github.com/web2bigtable/web2bigtable.

Web2BigTable: 인터넷 규모 정보 검색 및 추출을 위한 이중 수준 다중 에이전트 LLM 시스템

Web2BigTable: A Bi-Level Multi-Agent LLM System for Internet-Scale Information Search and Extraction

초록

Support