Nougat: Neuronales Optisches Verständnis für akademische Dokumente
Nougat: Neural Optical Understanding for Academic Documents
August 25, 2023
Autoren: Lukas Blecher, Guillem Cucurull, Thomas Scialom, Robert Stojnic
cs.AI
Zusammenfassung
Wissenschaftliches Wissen wird überwiegend in Büchern und wissenschaftlichen Zeitschriften gespeichert, oft in Form von PDFs. Das PDF-Format führt jedoch zu einem Verlust an semantischen Informationen, insbesondere bei mathematischen Ausdrücken. Wir stellen Nougat (Neural Optical Understanding for Academic Documents) vor, ein Visual-Transformer-Modell, das eine Optical Character Recognition (OCR)-Aufgabe zur Verarbeitung wissenschaftlicher Dokumente in eine Auszeichnungssprache durchführt, und demonstrieren die Effektivität unseres Modells anhand eines neuen Datensatzes wissenschaftlicher Dokumente. Der vorgeschlagene Ansatz bietet eine vielversprechende Lösung, um die Zugänglichkeit wissenschaftlichen Wissens im digitalen Zeitalter zu verbessern, indem er die Lücke zwischen menschenlesbaren Dokumenten und maschinenlesbarem Text überbrückt. Wir veröffentlichen die Modelle und den Code, um zukünftige Arbeiten zur Erkennung wissenschaftlicher Texte zu beschleunigen.
English
Scientific knowledge is predominantly stored in books and scientific
journals, often in the form of PDFs. However, the PDF format leads to a loss of
semantic information, particularly for mathematical expressions. We propose
Nougat (Neural Optical Understanding for Academic Documents), a Visual
Transformer model that performs an Optical Character Recognition (OCR) task for
processing scientific documents into a markup language, and demonstrate the
effectiveness of our model on a new dataset of scientific documents. The
proposed approach offers a promising solution to enhance the accessibility of
scientific knowledge in the digital age, by bridging the gap between
human-readable documents and machine-readable text. We release the models and
code to accelerate future work on scientific text recognition.