トークン効率的なデータ推論エージェント：非構造化データの適応的構造化による実現

要旨

貴重なデータは今もなお、ウェブページ、レポート、契約書、提出書類、決算説明会、PDFといった非構造化情報源の中に埋め込まれたままである。エンタープライズAIにおける大きな賭けは、そうしたデータに対して推論し、あらゆる知識労働者の複雑な質問に答えるLLMエージェントを導入することだ。エージェントは今日すでにこれを実行できるが、そのコストは法外である。個々の質問に答えるたびに、散在する根拠を探し出すため大きな文書を繰り返し開くことになり、最大100万トークンを消費する。しかし、データが既に構造化されていれば、同じ質問は安価なデータベース参照に帰着する。例えばFanOutQAベンチマークでは、理想的な事前構造化ストアに対する推論のコストは28分の1で済み、質問がより多くの文書にまたがるにつれて、その格差は桁違いに拡大する。とはいえ、すべてを事前に構造化することは現実的ではない。文書には、どのワークロードでも使い切れないほど多くの可能な構造が含まれており、どの構造や文書が有用かは、クエリが届くまで分からないからである。そこで我々は、エージェンティックデータクラッキングを提案する。これは、推論自体の副産物として、非構造化データを適応的かつ投機的に構造化する手法である。適応的と呼ぶのは、観測されたクエリが構造化の実行時期と重要対象を決定するためであり、投機的と呼ぶのは、現在の質問を超えて構造化を行うためである。エージェントが回答のために文書を開くたびに、クラッキングサブエージェントが、既に読み込まれたコンテキストから限界費用で分岐し、関連する将来のクエリに役立つ可能性が高い、根拠に基づく構造を抽出する。時間の経過とともに、構造化データだけで完全にカバーされ、文書を開かずに回答されるクエリの割合が増え、エージェント推論の精度を維持したまま、コストをRAGとほぼ同じ水準に抑えられる。FanOutQAの各テスト質問に、関連質問を1つだけ追加した拡張設定では、クラッキングは精度を保ちながらコストを53%削減する。エージェンティックデータクラッキングは、非構造化データ上のエージェンティックな推論のための次世代データ基盤、すなわち、推論がコストをかけて発見した知識が蓄積される、モデルの下層に位置する共有基盤への第一歩である。

English

Valuable data remains embedded in unstructured sources: web pages, reports, contracts, filings, earnings calls, and PDFs. The big bet in enterprise AI is deploying LLM agents that reason over this data to answer complex questions for every knowledge worker. Agents can do this today, but at prohibitive cost. Each question repeatedly opens large documents to recover scattered evidence, consuming up to a million tokens. However, if the data were already structured, the same question would reduce to a cheap database lookup. For example, on FanOutQA benchmark, reasoning over an ideal pre-structured store is 28X cheaper, and the gap grows to orders of magnitude as questions fan out over more documents. Yet structuring everything in advance is not viable: documents hold vastly more possible structure than any workload will use, and the useful structure and documents are unknown until queries arrive. We propose agentic data cracking, a method that structures unstructured data adaptively and speculatively as a byproduct of reasoning itself. Structuring is adaptive because observed queries decide when it happens and what matters, and speculative because it goes beyond the current question. Whenever the agent opens a document to answer, a cracking sub-agent forks from the already-loaded context at marginal cost and extracts grounded structure likely to serve related future queries. Over time, an increasing share of queries is fully covered by structured data and answered without opening a document, keeping agentic accuracy at close to RAG cost. On FanOutQA, extended with merely one related question per test question, cracking cuts cost by 53% while preserving accuracy. Agentic data cracking is a first step toward next-generation data infrastructure for agentic reasoning over unstructured data: a shared substrate beneath the model where knowledge that reasoning already paid to uncover accumulates.