Nougat: Neurale Optische Interpretatie voor Academische Documenten
Nougat: Neural Optical Understanding for Academic Documents
August 25, 2023
Auteurs: Lukas Blecher, Guillem Cucurull, Thomas Scialom, Robert Stojnic
cs.AI
Samenvatting
Wetenschappelijke kennis wordt voornamelijk opgeslagen in boeken en wetenschappelijke tijdschriften, vaak in de vorm van PDF's. Het PDF-formaat leidt echter tot een verlies van semantische informatie, met name voor wiskundige uitdrukkingen. Wij stellen Nougat (Neural Optical Understanding for Academic Documents) voor, een Visual Transformer-model dat een Optical Character Recognition (OCR)-taak uitvoert voor het verwerken van wetenschappelijke documenten naar een opmaaktaal, en demonstreren de effectiviteit van ons model op een nieuwe dataset van wetenschappelijke documenten. De voorgestelde aanpak biedt een veelbelovende oplossing om de toegankelijkheid van wetenschappelijke kennis in het digitale tijdperk te vergroten, door de kloof tussen door mensen leesbare documenten en door machines leesbare tekst te overbruggen. Wij maken de modellen en code beschikbaar om toekomstig werk op het gebied van wetenschappelijke tekstherkenning te versnellen.
English
Scientific knowledge is predominantly stored in books and scientific
journals, often in the form of PDFs. However, the PDF format leads to a loss of
semantic information, particularly for mathematical expressions. We propose
Nougat (Neural Optical Understanding for Academic Documents), a Visual
Transformer model that performs an Optical Character Recognition (OCR) task for
processing scientific documents into a markup language, and demonstrate the
effectiveness of our model on a new dataset of scientific documents. The
proposed approach offers a promising solution to enhance the accessibility of
scientific knowledge in the digital age, by bridging the gap between
human-readable documents and machine-readable text. We release the models and
code to accelerate future work on scientific text recognition.