TextHawk: Esplorazione dell'Efficiente Percezione Fine-Grained nei Modelli Linguistici Multimodali di Grande Scala

TextHawk: Exploring Efficient Fine-Grained Perception of Multimodal Large Language Models

April 14, 2024

Autori: Ya-Qi Yu, Minghui Liao, Jihao Wu, Yongxin Liao, Xiaoyu Zheng, Wei Zeng

cs.AI

Abstract

I Modelli Linguistici Multimodali di Grande Scala (MLLMs) hanno dimostrato risultati impressionanti in vari compiti multimodali. Tuttavia, la maggior parte degli MLLM esistenti non è adatta per compiti orientati ai documenti, che richiedono una percezione fine delle immagini e una compressione delle informazioni. In questo articolo, presentiamo TextHawk, un MLLM progettato specificamente per compiti orientati ai documenti, pur preservando le capacità generali degli MLLM. TextHawk mira a esplorare una percezione fine efficiente attraverso la progettazione di quattro componenti dedicati. In primo luogo, viene proposto un modulo di Ricampionamento e Riarrangiamento (ReSA) per ridurre la ridondanza nei testi dei documenti e abbattere il costo computazionale dell'MLLM. Esploriamo la codifica delle posizioni di ciascuna caratteristica locale presentando gli Embedding Posizionali Scalabili (SPEs), che possono preservare la scalabilità di varie dimensioni delle immagini. Una Query Proposal Network (QPN) viene quindi adottata per inizializzare dinamicamente le query tra diverse sotto-immagini. Per migliorare ulteriormente la capacità percettiva visiva fine dell'MLLM, progettiamo un meccanismo di Cross-Attention Multi-Livello (MLCA) che cattura la struttura gerarchica e le relazioni semantiche delle immagini dei documenti. Inoltre, creiamo un nuovo dataset di istruzione-tuning per compiti orientati ai documenti arricchendo i dati multimodali dei documenti con Gemini Pro. Condividiamo esperimenti estesi su benchmark generali e orientati ai documenti per MLLM, dimostrando che TextHawk supera i metodi all'avanguardia, evidenziando la sua efficacia e superiorità nella percezione fine dei documenti e nelle capacità generali.

English

Multimodal Large Language Models (MLLMs) have shown impressive results on various multimodal tasks. However, most existing MLLMs are not well suited for document-oriented tasks, which require fine-grained image perception and information compression. In this paper, we present TextHawk, a MLLM that is specifically designed for document-oriented tasks, while preserving the general capabilities of MLLMs. TextHawk is aimed to explore efficient fine-grained perception by designing four dedicated components. Firstly, a ReSampling and ReArrangement (ReSA) module is proposed to reduce the redundancy in the document texts and lower the computational cost of the MLLM. We explore encoding the positions of each local feature by presenting Scalable Positional Embeddings (SPEs), which can preserve the scalability of various image sizes. A Query Proposal Network (QPN) is then adopted to initialize the queries dynamically among different sub-images. To further enhance the fine-grained visual perceptual ability of the MLLM, we design a Multi-Level Cross-Attention (MLCA) mechanism that captures the hierarchical structure and semantic relations of document images. Furthermore, we create a new instruction-tuning dataset for document-oriented tasks by enriching the multimodal document data with Gemini Pro. We conduct extensive experiments on both general and document-oriented MLLM benchmarks, and show that TextHawk outperforms the state-of-the-art methods, demonstrating its effectiveness and superiority in fine-grained document perception and general abilities.