Nougat : Compréhension Optique Neuronale pour les Documents Académiques
Nougat: Neural Optical Understanding for Academic Documents
August 25, 2023
Auteurs: Lukas Blecher, Guillem Cucurull, Thomas Scialom, Robert Stojnic
cs.AI
Résumé
Les connaissances scientifiques sont principalement stockées dans des livres et des revues scientifiques, souvent sous forme de fichiers PDF. Cependant, le format PDF entraîne une perte d'information sémantique, en particulier pour les expressions mathématiques. Nous proposons Nougat (Neural Optical Understanding for Academic Documents), un modèle de type Visual Transformer qui effectue une tâche de Reconnaissance Optique de Caractères (OCR) pour traiter les documents scientifiques en un langage de balisage, et démontrons l'efficacité de notre modèle sur un nouvel ensemble de données de documents scientifiques. L'approche proposée offre une solution prometteuse pour améliorer l'accessibilité des connaissances scientifiques à l'ère numérique, en comblant le fossé entre les documents lisibles par l'homme et le texte lisible par machine. Nous mettons à disposition les modèles et le code pour accélérer les travaux futurs sur la reconnaissance de texte scientifique.
English
Scientific knowledge is predominantly stored in books and scientific
journals, often in the form of PDFs. However, the PDF format leads to a loss of
semantic information, particularly for mathematical expressions. We propose
Nougat (Neural Optical Understanding for Academic Documents), a Visual
Transformer model that performs an Optical Character Recognition (OCR) task for
processing scientific documents into a markup language, and demonstrate the
effectiveness of our model on a new dataset of scientific documents. The
proposed approach offers a promising solution to enhance the accessibility of
scientific knowledge in the digital age, by bridging the gap between
human-readable documents and machine-readable text. We release the models and
code to accelerate future work on scientific text recognition.