DocLayout-YOLO : Amélioration de l'analyse de la mise en page de documents grâce à des données synthétiques diverses et à une perception adaptative globale à locale.

DocLayout-YOLO: Enhancing Document Layout Analysis through Diverse Synthetic Data and Global-to-Local Adaptive Perception

October 16, 2024

Auteurs: Zhiyuan Zhao, Hengrui Kang, Bin Wang, Conghui He

cs.AI

Résumé

L'analyse de la mise en page de documents est cruciale pour les systèmes de compréhension de documents du monde réel, mais elle rencontre un compromis difficile entre la vitesse et la précision : les méthodes multimodales exploitant à la fois des caractéristiques textuelles et visuelles atteignent une précision plus élevée mais souffrent d'une latence significative, tandis que les méthodes unimodales reposant uniquement sur des caractéristiques visuelles offrent des vitesses de traitement plus rapides au détriment de la précision. Pour résoudre ce dilemme, nous présentons DocLayout-YOLO, une approche novatrice qui améliore la précision tout en conservant les avantages de vitesse grâce à des optimisations spécifiques aux documents à la fois dans la pré-formation et la conception du modèle. Pour une préformation de document robuste, nous introduisons l'algorithme Mesh-candidate BestFit, qui cadre la synthèse de documents comme un problème d'empaquetage de bacs bidimensionnel, générant le vaste et diversifié ensemble de données DocSynth-300K. La préformation sur l'ensemble de données DocSynth-300K résultant améliore significativement les performances de réglage fin sur divers types de documents. En termes d'optimisation du modèle, nous proposons un Module Réceptif Contrôlable Global-à-Local capable de mieux gérer les variations multi-échelles des éléments de document. De plus, pour valider les performances sur différents types de documents, nous introduisons un banc d'essai complexe et exigeant nommé DocStructBench. Des expériences approfondies sur des ensembles de données aval démontrent que DocLayout-YOLO excelle à la fois en vitesse et en précision. Le code, les données et les modèles sont disponibles sur https://github.com/opendatalab/DocLayout-YOLO.

English

Document Layout Analysis is crucial for real-world document understanding systems, but it encounters a challenging trade-off between speed and accuracy: multimodal methods leveraging both text and visual features achieve higher accuracy but suffer from significant latency, whereas unimodal methods relying solely on visual features offer faster processing speeds at the expense of accuracy. To address this dilemma, we introduce DocLayout-YOLO, a novel approach that enhances accuracy while maintaining speed advantages through document-specific optimizations in both pre-training and model design. For robust document pre-training, we introduce the Mesh-candidate BestFit algorithm, which frames document synthesis as a two-dimensional bin packing problem, generating the large-scale, diverse DocSynth-300K dataset. Pre-training on the resulting DocSynth-300K dataset significantly improves fine-tuning performance across various document types. In terms of model optimization, we propose a Global-to-Local Controllable Receptive Module that is capable of better handling multi-scale variations of document elements. Furthermore, to validate performance across different document types, we introduce a complex and challenging benchmark named DocStructBench. Extensive experiments on downstream datasets demonstrate that DocLayout-YOLO excels in both speed and accuracy. Code, data, and models are available at https://github.com/opendatalab/DocLayout-YOLO.