Nougat: Compreensão Óptica Neural para Documentos Acadêmicos
Nougat: Neural Optical Understanding for Academic Documents
August 25, 2023
Autores: Lukas Blecher, Guillem Cucurull, Thomas Scialom, Robert Stojnic
cs.AI
Resumo
O conhecimento científico é predominantemente armazenado em livros e periódicos científicos, frequentemente no formato PDF. No entanto, o formato PDF resulta em uma perda de informação semântica, particularmente para expressões matemáticas. Propomos o Nougat (Neural Optical Understanding for Academic Documents), um modelo Visual Transformer que realiza uma tarefa de Reconhecimento Óptico de Caracteres (OCR) para processar documentos científicos em uma linguagem de marcação, e demonstramos a eficácia do nosso modelo em um novo conjunto de dados de documentos científicos. A abordagem proposta oferece uma solução promissora para melhorar a acessibilidade do conhecimento científico na era digital, ao preencher a lacuna entre documentos legíveis por humanos e textos legíveis por máquinas. Disponibilizamos os modelos e o código para acelerar trabalhos futuros sobre reconhecimento de textos científicos.
English
Scientific knowledge is predominantly stored in books and scientific
journals, often in the form of PDFs. However, the PDF format leads to a loss of
semantic information, particularly for mathematical expressions. We propose
Nougat (Neural Optical Understanding for Academic Documents), a Visual
Transformer model that performs an Optical Character Recognition (OCR) task for
processing scientific documents into a markup language, and demonstrate the
effectiveness of our model on a new dataset of scientific documents. The
proposed approach offers a promising solution to enhance the accessibility of
scientific knowledge in the digital age, by bridging the gap between
human-readable documents and machine-readable text. We release the models and
code to accelerate future work on scientific text recognition.