Nougat: Comprensión Óptica Neuronal para Documentos Académicos
Nougat: Neural Optical Understanding for Academic Documents
August 25, 2023
Autores: Lukas Blecher, Guillem Cucurull, Thomas Scialom, Robert Stojnic
cs.AI
Resumen
El conocimiento científico se almacena predominantemente en libros y revistas científicas, a menudo en formato PDF. Sin embargo, el formato PDF conlleva una pérdida de información semántica, particularmente en el caso de expresiones matemáticas. Proponemos Nougat (Neural Optical Understanding for Academic Documents), un modelo de Transformador Visual que realiza una tarea de Reconocimiento Óptico de Caracteres (OCR) para procesar documentos científicos en un lenguaje de marcado, y demostramos la efectividad de nuestro modelo en un nuevo conjunto de datos de documentos científicos. El enfoque propuesto ofrece una solución prometedora para mejorar la accesibilidad del conocimiento científico en la era digital, al cerrar la brecha entre documentos legibles por humanos y texto legible por máquinas. Publicamos los modelos y el código para acelerar futuros trabajos en el reconocimiento de texto científico.
English
Scientific knowledge is predominantly stored in books and scientific
journals, often in the form of PDFs. However, the PDF format leads to a loss of
semantic information, particularly for mathematical expressions. We propose
Nougat (Neural Optical Understanding for Academic Documents), a Visual
Transformer model that performs an Optical Character Recognition (OCR) task for
processing scientific documents into a markup language, and demonstrate the
effectiveness of our model on a new dataset of scientific documents. The
proposed approach offers a promising solution to enhance the accessibility of
scientific knowledge in the digital age, by bridging the gap between
human-readable documents and machine-readable text. We release the models and
code to accelerate future work on scientific text recognition.