Éclair - Estrarre Contenuto e Layout con Ordine di Lettura Integrato per Documenti

Éclair -- Extracting Content and Layout with Integrated Reading Order for Documents

February 6, 2025

Autori: Ilia Karmanov, Amala Sanjay Deshmukh, Lukas Voegtle, Philipp Fischer, Kateryna Chumachenko, Timo Roman, Jarno Seppänen, Jupinder Parmar, Joseph Jennings, Andrew Tao, Karan Sapra

cs.AI

Abstract

La tecnologia di Riconoscimento Ottico dei Caratteri (OCR) è ampiamente utilizzata per estrarre testo da immagini di documenti, facilitando la digitalizzazione efficiente e il recupero dei dati. Tuttavia, estrarre solo il testo non è sufficiente quando si tratta di documenti complessi. Comprendere appieno tali documenti richiede la comprensione della loro struttura - inclusi formattazione, formule, tabelle e l'ordine di lettura di blocchi e colonne su più pagine - nonché informazioni semantiche per rilevare elementi come note a piè di pagina e didascalie delle immagini. Questa comprensione esaustiva è cruciale per attività successive come il recupero, la risposta a domande sui documenti e la cura dei dati per l'addestramento di Modelli Linguistici Estesi (LLM) e Modelli Linguaggio-Immagine (VLM). Per affrontare questo problema, presentiamo \'Eclair, uno strumento di estrazione di testo multiuso progettato appositamente per elaborare una vasta gamma di tipi di documenti. Dato un'immagine, \'Eclair è in grado di estrarre il testo formattato nell'ordine di lettura, insieme a riquadri e le rispettive classi semantiche corrispondenti. Per valutare approfonditamente queste nuove capacità, presentiamo il nostro variegato benchmark umano-annotato per l'OCR a livello di documento e la classificazione semantica. \'Eclair raggiunge un'accuratezza all'avanguardia su questo benchmark, superando altri metodi su metriche chiave. Inoltre, valutiamo \'Eclair su benchmark consolidati, dimostrandone la versatilità e la solidità secondo diversi standard di valutazione.

English

Optical Character Recognition (OCR) technology is widely used to extract text from images of documents, facilitating efficient digitization and data retrieval. However, merely extracting text is insufficient when dealing with complex documents. Fully comprehending such documents requires an understanding of their structure -- including formatting, formulas, tables, and the reading order of multiple blocks and columns across multiple pages -- as well as semantic information for detecting elements like footnotes and image captions. This comprehensive understanding is crucial for downstream tasks such as retrieval, document question answering, and data curation for training Large Language Models (LLMs) and Vision Language Models (VLMs). To address this, we introduce \'Eclair, a general-purpose text-extraction tool specifically designed to process a wide range of document types. Given an image, \'Eclair is able to extract formatted text in reading order, along with bounding boxes and their corresponding semantic classes. To thoroughly evaluate these novel capabilities, we introduce our diverse human-annotated benchmark for document-level OCR and semantic classification. \'Eclair achieves state-of-the-art accuracy on this benchmark, outperforming other methods across key metrics. Additionally, we evaluate \'Eclair on established benchmarks, demonstrating its versatility and strength across several evaluation standards.