ExtractBench: スキーマ駆動エンタープライズ文書抽出のためのベンチマーク

要旨

エンタープライズワークフローは、スキーマ誘導抽出のためにエージェントに依存することがますます増えている。ドキュメントとユーザー定義スキーマが与えられると、エージェントはスキーマに忠実に従い、ソースエビデンスをグラウンディングメタデータとして用いて正しい出力を生成する。本稿では、スキーマ誘導抽出のためのベンチマークであるExtractBenchを提案する。これは、我々の知る限り、値の精度、レコード完全性、グラウンディング、および測定コストを大規模にまとめて評価する最初のベンチマークである。評価システムは、370のエンタープライズドキュメント、8つのビジネスドメイン、67のドキュメントタイプにわたる4,869ページで構成され、チャレンジシナリオを区別する明確なタグが付与されている。スケーラブルなスキーマとグラウンドトゥルースのキュレーションパイプラインは、実ドキュメントに対する独立システム間の一致、合成リストに対する既知の値、フォームに対する人間による検証を組み合わせている。我々は、値の精度については順序非依存の値F1を報告し、さらにソーストレーサビリティのための2つのグラウンディングメトリクス、すなわち単語レベルおよびページレベルのF1を報告する。商用VLMは短いドキュメントでは良好に機能するが、長いドキュメントではレコードリストをしばしば切り詰める。一方、コーディングエージェントははるかに高いコストでより高い精度を維持する。LlamaExtract Agentic Plusは、3つのメトリクスすべてで首位であり、コーディングエージェントに匹敵する精度を、わずかなコストで達成する。データセットと評価コードは、https://huggingface.co/datasets/llamaindex/ExtractBench{HuggingFace} と https://github.com/run-llama/ExtractBench{GitHub} で入手できる。

English

Enterprise workflows increasingly rely on agents for schema-guided extraction: given a document and a user-defined schema, the agent faithfully follows the schema to produce the correct output with source evidence as grounding metadata. We present ExtractBench, a benchmark for schema-guided extraction and, to our knowledge, the first to score value accuracy, record completeness at scale, grounding, and measured cost together. The evaluation system contains 4,869 pages across 370 enterprise documents, 8 business domains, and 67 document types, with clear tags differentiating their challenge scenarios. The scalable schema and ground-truth curation pipeline combines independent-system agreement for real documents, known values for synthetic lists, and human verification for forms. We report order-insensitive value F1 for value accuracy, plus two grounding metrics for source traceability: word- and page-level F1. Commercial VLMs perform well on short documents but often truncate record lists on long ones, while coding agents retain higher accuracy at much higher cost. LlamaExtract Agentic Plus ranks first on all three metrics, with accuracy comparable to coding agents at a fraction of the cost. Dataset and evaluation code are available on https://huggingface.co/datasets/llamaindex/ExtractBench{HuggingFace} and https://github.com/run-llama/ExtractBench{GitHub}.