TextHawk : Exploration de la perception fine et efficace des modèles de langage multimodaux à grande échelle

TextHawk: Exploring Efficient Fine-Grained Perception of Multimodal Large Language Models

April 14, 2024

Auteurs: Ya-Qi Yu, Minghui Liao, Jihao Wu, Yongxin Liao, Xiaoyu Zheng, Wei Zeng

cs.AI

Résumé

Les modèles de langage multimodaux de grande taille (MLLMs) ont démontré des résultats impressionnants sur diverses tâches multimodales. Cependant, la plupart des MLLMs existants ne sont pas bien adaptés aux tâches orientées document, qui nécessitent une perception fine des images et une compression d'information. Dans cet article, nous présentons TextHawk, un MLLM spécialement conçu pour les tâches orientées document, tout en préservant les capacités générales des MLLMs. TextHawk vise à explorer une perception fine efficace en concevant quatre composants dédiés. Tout d'abord, un module de Rééchantillonnage et Réarrangement (ReSA) est proposé pour réduire la redondance dans les textes des documents et diminuer le coût computationnel du MLLM. Nous explorons l'encodage des positions de chaque caractéristique locale en présentant des Embeddings Positionnels Scalables (SPEs), qui peuvent préserver l'évolutivité de différentes tailles d'images. Un Réseau de Proposition de Requêtes (QPN) est ensuite adopté pour initialiser dynamiquement les requêtes parmi différentes sous-images. Pour renforcer davantage la capacité de perception visuelle fine du MLLM, nous concevons un mécanisme d'Attention Croisée Multi-Niveaux (MLCA) qui capture la structure hiérarchique et les relations sémantiques des images de documents. De plus, nous créons un nouveau jeu de données d'ajustement d'instructions pour les tâches orientées document en enrichissant les données multimodales de documents avec Gemini Pro. Nous menons des expériences approfondies sur des benchmarks généraux et orientés document pour les MLLMs, et montrons que TextHawk surpasse les méthodes de pointe, démontrant son efficacité et sa supériorité dans la perception fine des documents et ses capacités générales.

English

Multimodal Large Language Models (MLLMs) have shown impressive results on various multimodal tasks. However, most existing MLLMs are not well suited for document-oriented tasks, which require fine-grained image perception and information compression. In this paper, we present TextHawk, a MLLM that is specifically designed for document-oriented tasks, while preserving the general capabilities of MLLMs. TextHawk is aimed to explore efficient fine-grained perception by designing four dedicated components. Firstly, a ReSampling and ReArrangement (ReSA) module is proposed to reduce the redundancy in the document texts and lower the computational cost of the MLLM. We explore encoding the positions of each local feature by presenting Scalable Positional Embeddings (SPEs), which can preserve the scalability of various image sizes. A Query Proposal Network (QPN) is then adopted to initialize the queries dynamically among different sub-images. To further enhance the fine-grained visual perceptual ability of the MLLM, we design a Multi-Level Cross-Attention (MLCA) mechanism that captures the hierarchical structure and semantic relations of document images. Furthermore, we create a new instruction-tuning dataset for document-oriented tasks by enriching the multimodal document data with Gemini Pro. We conduct extensive experiments on both general and document-oriented MLLM benchmarks, and show that TextHawk outperforms the state-of-the-art methods, demonstrating its effectiveness and superiority in fine-grained document perception and general abilities.