文書解析の解説：構造化情報抽出の技術、課題、展望

Document Parsing Unveiled: Techniques, Challenges, and Prospects for Structured Information Extraction

October 28, 2024

著者: Qintong Zhang, Victor Shea-Jay Huang, Bin Wang, Junyuan Zhang, Zhengren Wang, Hao Liang, Shawn Wang, Matthieu Lin, Wentao Zhang, Conghui He

cs.AI

要旨

ドキュメントの解析は、契約書、学術論文、請求書などの非構造化および半構造化ドキュメントを構造化された、機械可読データに変換するために不可欠です。ドキュメントの解析は、非構造化の入力から信頼性の高い構造化データを抽出し、多くのアプリケーションにとって大きな利便性を提供します。特に最近の大規模言語モデルの進展により、ドキュメントの解析は知識ベースの構築とトレーニングデータ生成の両方で不可欠な役割を果たしています。この調査は、現在のドキュメント解析の状況について包括的なレビューを提供し、モジュラーパイプラインシステムから大規模なビジョン言語モデルによって駆動されるエンドツーエンドモデルまでの主要な方法論を網羅しています。レイアウト検出、コンテンツ抽出（テキスト、表、数式を含む）、およびマルチモーダルデータ統合などの中核コンポーネントが詳細に検討されています。さらに、この論文では、複雑なレイアウトの処理、複数のモジュールの統合、高密度テキストの認識において、モジュラーなドキュメント解析システムとビジョン言語モデルが直面する課題について議論しています。より大規模かつ多様なデータセットの開発の重要性を強調し、将来の研究方向を概説しています。

English

Document parsing is essential for converting unstructured and semi-structured documents-such as contracts, academic papers, and invoices-into structured, machine-readable data. Document parsing extract reliable structured data from unstructured inputs, providing huge convenience for numerous applications. Especially with recent achievements in Large Language Models, document parsing plays an indispensable role in both knowledge base construction and training data generation. This survey presents a comprehensive review of the current state of document parsing, covering key methodologies, from modular pipeline systems to end-to-end models driven by large vision-language models. Core components such as layout detection, content extraction (including text, tables, and mathematical expressions), and multi-modal data integration are examined in detail. Additionally, this paper discusses the challenges faced by modular document parsing systems and vision-language models in handling complex layouts, integrating multiple modules, and recognizing high-density text. It emphasizes the importance of developing larger and more diverse datasets and outlines future research directions.