ExtractBench: 스키마 기반 기업 문서 추출을 위한 벤치마크

초록

엔터프라이즈 워크플로우는 점점 더 스키마 기반 추출(schema-guided extraction)을 위한 에이전트에 의존하고 있다. 즉, 문서와 사용자 정의 스키마가 주어지면 에이전트는 스키마를 충실히 따라 소스 증거를 근거 메타데이터로 삼아 올바른 출력을 생성한다. 우리는 스키마 기반 추출을 위한 벤치마크인 ExtractBench를 제시하며, 현재까지 알려진 바로는 값 정확도(value accuracy), 대규모 레코드 완전성(record completeness), 근거(grounding), 측정 비용을 함께 평가하는 최초의 벤치마크이다. 평가 시스템은 370개의 엔터프라이즈 문서, 8개 비즈니스 도메인, 67개 문서 유형에 걸쳐 4,869페이지를 포함하며, 각 도전 과제 시나리오를 구분하는 명확한 태그를 갖추고 있다. 확장 가능한 스키마 및 정답(Ground Truth) 구축 파이프라인은 실제 문서에 대한 독립 시스템 합의, 합성 목록에 대한 알려진 값, 양식에 대한 인간 검증을 결합한다. 우리는 값 정확도에 대해 순서 비민감 값 F1을 보고하고, 소스 추적성을 위한 두 가지 근거 지표(단어 및 페이지 수준 F1)를 추가로 보고한다. 상용 VLM은 짧은 문서에서 우수한 성능을 보이지만 긴 문서에서는 레코드 목록을 자주 잘라내는 반면, 코딩 에이전트는 훨씬 높은 비용으로 더 높은 정확도를 유지한다. LlamaExtract Agentic Plus는 세 가지 지표 모두에서 1위를 차지하며, 코딩 에이전트에 필적하는 정확도를 훨씬 낮은 비용으로 달성한다. 데이터셋과 평가 코드는 https://huggingface.co/datasets/llamaindex/ExtractBench{HuggingFace} 및 https://github.com/run-llama/ExtractBench{GitHub}에서 확인할 수 있다.

English

Enterprise workflows increasingly rely on agents for schema-guided extraction: given a document and a user-defined schema, the agent faithfully follows the schema to produce the correct output with source evidence as grounding metadata. We present ExtractBench, a benchmark for schema-guided extraction and, to our knowledge, the first to score value accuracy, record completeness at scale, grounding, and measured cost together. The evaluation system contains 4,869 pages across 370 enterprise documents, 8 business domains, and 67 document types, with clear tags differentiating their challenge scenarios. The scalable schema and ground-truth curation pipeline combines independent-system agreement for real documents, known values for synthetic lists, and human verification for forms. We report order-insensitive value F1 for value accuracy, plus two grounding metrics for source traceability: word- and page-level F1. Commercial VLMs perform well on short documents but often truncate record lists on long ones, while coding agents retain higher accuracy at much higher cost. LlamaExtract Agentic Plus ranks first on all three metrics, with accuracy comparable to coding agents at a fraction of the cost. Dataset and evaluation code are available on https://huggingface.co/datasets/llamaindex/ExtractBench{HuggingFace} and https://github.com/run-llama/ExtractBench{GitHub}.