Nougat: Comprensione Ottica Neurale per Documenti Accademici
Nougat: Neural Optical Understanding for Academic Documents
August 25, 2023
Autori: Lukas Blecher, Guillem Cucurull, Thomas Scialom, Robert Stojnic
cs.AI
Abstract
La conoscenza scientifica è prevalentemente conservata in libri e riviste scientifiche, spesso in formato PDF. Tuttavia, il formato PDF comporta una perdita di informazioni semantiche, in particolare per le espressioni matematiche. Proponiamo Nougat (Neural Optical Understanding for Academic Documents), un modello Visual Transformer che esegue un'attività di riconoscimento ottico dei caratteri (OCR) per elaborare documenti scientifici in un linguaggio di markup, e dimostriamo l'efficacia del nostro modello su un nuovo dataset di documenti scientifici. L'approccio proposto offre una soluzione promettente per migliorare l'accessibilità della conoscenza scientifica nell'era digitale, colmando il divario tra documenti leggibili dall'uomo e testo leggibile dalla macchina. Rilasciamo i modelli e il codice per accelerare i futuri lavori sul riconoscimento del testo scientifico.
English
Scientific knowledge is predominantly stored in books and scientific
journals, often in the form of PDFs. However, the PDF format leads to a loss of
semantic information, particularly for mathematical expressions. We propose
Nougat (Neural Optical Understanding for Academic Documents), a Visual
Transformer model that performs an Optical Character Recognition (OCR) task for
processing scientific documents into a markup language, and demonstrate the
effectiveness of our model on a new dataset of scientific documents. The
proposed approach offers a promising solution to enhance the accessibility of
scientific knowledge in the digital age, by bridging the gap between
human-readable documents and machine-readable text. We release the models and
code to accelerate future work on scientific text recognition.