비정형 데이터의 적응형 구조화를 통한 토큰 효율적 데이터 추론 에이전트

초록

가치 있는 데이터는 여전히 비정형 소스에 내재되어 있다: 웹 페이지, 보고서, 계약서, 공시 자료, 실적 발표, PDF 등이 그것이다. 엔터프라이즈 AI의 핵심 투자 방향은 모든 지식 근로자를 위해 이러한 데이터를 추론하여 복잡한 질문에 답하는 LLM 에이전트를 배포하는 것이다. 에이전트는 오늘날에도 이를 수행할 수 있지만, 비용이 prohibitive 수준이다. 각 질문은 흩어진 증거를 찾기 위해 대용량 문서를 반복적으로 열어야 하며, 최대 백만 개의 토큰을 소비한다. 그러나 데이터가 이미 구조화되어 있다면, 동일한 질문은 저비용 데이터베이스 조회로 축소될 것이다. 예를 들어, FanOutQA 벤치마크에서 이상적인 사전 구조화 저장소에 대한 추론 비용은 28배 저렴하며, 질문이 더 많은 문서로 분산될수록 그 격차는 자릿수 차이로 확대된다. 그러나 모든 것을 사전에 구조화하는 것은 현실적이지 않다: 문서는 모든 워크로드가 사용할 수 있는 것보다 훨씬 더 많은 가능한 구조를 포함하며, 유용한 구조와 문서는 질의가 도착하기 전까지는 알 수 없기 때문이다. 우리는 에이전트 기반 데이터 크래킹(agentic data cracking)을 제안한다. 이는 추론 자체의 부산물로서 비정형 데이터를 적응적이고 투기적으로 구조화하는 방법이다. 구조화가 적응적인 이유는 관찰된 질의가 구조화의 시점과 중요 대상을 결정하기 때문이며, 투기적인 이유는 현재 질문을 넘어서기 때문이다. 에이전트가 답변을 위해 문서를 열 때마다, 크래킹 하위 에이전트가 이미 로드된 컨텍스트에서 한계 비용으로 분기하여 관련된 향후 질의에 서비스할 가능성이 높은 근거 기반 구조를 추출한다. 시간이 지남에 따라 점점 더 많은 질의가 구조화된 데이터로 완전히 충족되어 문서를 열지 않고도 답변되며, 에이전트의 정확도를 RAG에 근접한 비용 수준으로 유지한다. 테스트 질문당 단 하나의 관련 질의만 추가 확장된 FanOutQA에서 크래킹은 정확도를 유지하면서 비용을 53% 절감한다. 에이전트 기반 데이터 크래킹은 비정형 데이터에 대한 에이전트 추론을 위한 차세대 데이터 인프라, 즉 추론이 비용을 들여 이미 발견한 지식이 축적되는 모델 하부의 공유 기반(substrate)을 향한 첫 걸음이다.

English

Valuable data remains embedded in unstructured sources: web pages, reports, contracts, filings, earnings calls, and PDFs. The big bet in enterprise AI is deploying LLM agents that reason over this data to answer complex questions for every knowledge worker. Agents can do this today, but at prohibitive cost. Each question repeatedly opens large documents to recover scattered evidence, consuming up to a million tokens. However, if the data were already structured, the same question would reduce to a cheap database lookup. For example, on FanOutQA benchmark, reasoning over an ideal pre-structured store is 28X cheaper, and the gap grows to orders of magnitude as questions fan out over more documents. Yet structuring everything in advance is not viable: documents hold vastly more possible structure than any workload will use, and the useful structure and documents are unknown until queries arrive. We propose agentic data cracking, a method that structures unstructured data adaptively and speculatively as a byproduct of reasoning itself. Structuring is adaptive because observed queries decide when it happens and what matters, and speculative because it goes beyond the current question. Whenever the agent opens a document to answer, a cracking sub-agent forks from the already-loaded context at marginal cost and extracts grounded structure likely to serve related future queries. Over time, an increasing share of queries is fully covered by structured data and answered without opening a document, keeping agentic accuracy at close to RAG cost. On FanOutQA, extended with merely one related question per test question, cracking cuts cost by 53% while preserving accuracy. Agentic data cracking is a first step toward next-generation data infrastructure for agentic reasoning over unstructured data: a shared substrate beneath the model where knowledge that reasoning already paid to uncover accumulates.