Análisis de Documentos Revelado: Técnicas, Desafíos y Perspectivas para la Extracción de Información Estructurada

Document Parsing Unveiled: Techniques, Challenges, and Prospects for Structured Information Extraction

October 28, 2024

Autores: Qintong Zhang, Victor Shea-Jay Huang, Bin Wang, Junyuan Zhang, Zhengren Wang, Hao Liang, Shawn Wang, Matthieu Lin, Wentao Zhang, Conghui He

cs.AI

Resumen

El análisis de documentos es esencial para convertir documentos no estructurados y semi-estructurados, como contratos, trabajos académicos y facturas, en datos estructurados y legibles por máquina. El análisis de documentos extrae datos estructurados confiables de entradas no estructuradas, brindando una gran conveniencia para numerosas aplicaciones. Especialmente con los logros recientes en Modelos de Lenguaje Grandes, el análisis de documentos desempeña un papel indispensable tanto en la construcción de bases de conocimiento como en la generación de datos de entrenamiento. Esta encuesta presenta una revisión exhaustiva del estado actual del análisis de documentos, abarcando metodologías clave, desde sistemas de canalización modular hasta modelos de extremo a extremo impulsados por grandes modelos de visión y lenguaje. Se examinan en detalle componentes fundamentales como la detección de diseño, extracción de contenido (incluyendo texto, tablas y expresiones matemáticas) e integración de datos multimodales. Además, este documento analiza los desafíos enfrentados por los sistemas modulares de análisis de documentos y los modelos de visión y lenguaje al manejar diseños complejos, integrar múltiples módulos y reconocer texto de alta densidad. Se enfatiza la importancia de desarrollar conjuntos de datos más grandes y diversos y se esbozan las futuras direcciones de investigación.

English

Document parsing is essential for converting unstructured and semi-structured documents-such as contracts, academic papers, and invoices-into structured, machine-readable data. Document parsing extract reliable structured data from unstructured inputs, providing huge convenience for numerous applications. Especially with recent achievements in Large Language Models, document parsing plays an indispensable role in both knowledge base construction and training data generation. This survey presents a comprehensive review of the current state of document parsing, covering key methodologies, from modular pipeline systems to end-to-end models driven by large vision-language models. Core components such as layout detection, content extraction (including text, tables, and mathematical expressions), and multi-modal data integration are examined in detail. Additionally, this paper discusses the challenges faced by modular document parsing systems and vision-language models in handling complex layouts, integrating multiple modules, and recognizing high-density text. It emphasizes the importance of developing larger and more diverse datasets and outlines future research directions.