DocLayout-YOLO: Melhorando a Análise de Layout de Documentos por meio de Dados Sintéticos Diversificados e Percepção Adaptativa Global para Local.

DocLayout-YOLO: Enhancing Document Layout Analysis through Diverse Synthetic Data and Global-to-Local Adaptive Perception

October 16, 2024

Autores: Zhiyuan Zhao, Hengrui Kang, Bin Wang, Conghui He

cs.AI

Resumo

A Análise de Layout de Documentos é crucial para sistemas de compreensão de documentos do mundo real, porém enfrenta um desafiador equilíbrio entre velocidade e precisão: métodos multimodais que alavancam tanto características textuais quanto visuais alcançam maior precisão, mas sofrem com uma latência significativa, enquanto métodos unimodais que dependem exclusivamente de características visuais oferecem velocidades de processamento mais rápidas em detrimento da precisão. Para lidar com esse dilema, apresentamos o DocLayout-YOLO, uma abordagem inovadora que aprimora a precisão mantendo vantagens de velocidade por meio de otimizações específicas para documentos tanto no pré-treinamento quanto no design do modelo. Para um pré-treinamento robusto de documentos, introduzimos o algoritmo Mesh-candidate BestFit, que formula a síntese de documentos como um problema de empacotamento de caixas bidimensional, gerando o conjunto de dados DocSynth-300K em larga escala e diversificado. O pré-treinamento no conjunto de dados resultante DocSynth-300K melhora significativamente o desempenho de ajuste fino em vários tipos de documentos. Em termos de otimização do modelo, propomos um Módulo Receptivo Controlável Global-para-Local capaz de lidar melhor com variações multiescala de elementos do documento. Além disso, para validar o desempenho em diferentes tipos de documentos, introduzimos um benchmark complexo e desafiador denominado DocStructBench. Experimentos extensivos em conjuntos de dados secundários demonstram que o DocLayout-YOLO se destaca tanto em velocidade quanto em precisão. Código, dados e modelos estão disponíveis em https://github.com/opendatalab/DocLayout-YOLO.

English

Document Layout Analysis is crucial for real-world document understanding systems, but it encounters a challenging trade-off between speed and accuracy: multimodal methods leveraging both text and visual features achieve higher accuracy but suffer from significant latency, whereas unimodal methods relying solely on visual features offer faster processing speeds at the expense of accuracy. To address this dilemma, we introduce DocLayout-YOLO, a novel approach that enhances accuracy while maintaining speed advantages through document-specific optimizations in both pre-training and model design. For robust document pre-training, we introduce the Mesh-candidate BestFit algorithm, which frames document synthesis as a two-dimensional bin packing problem, generating the large-scale, diverse DocSynth-300K dataset. Pre-training on the resulting DocSynth-300K dataset significantly improves fine-tuning performance across various document types. In terms of model optimization, we propose a Global-to-Local Controllable Receptive Module that is capable of better handling multi-scale variations of document elements. Furthermore, to validate performance across different document types, we introduce a complex and challenging benchmark named DocStructBench. Extensive experiments on downstream datasets demonstrate that DocLayout-YOLO excels in both speed and accuracy. Code, data, and models are available at https://github.com/opendatalab/DocLayout-YOLO.