INF-LLaVA: Percezione a Doppia Prospettiva per Modelli Linguistici Multimodali ad Alta Risoluzione

INF-LLaVA: Dual-perspective Perception for High-Resolution Multimodal Large Language Model

July 23, 2024

Autori: Yiwei Ma, Zhibin Wang, Xiaoshuai Sun, Weihuang Lin, Qiang Zhou, Jiayi Ji, Rongrong Ji

cs.AI

Abstract

Con i progressi nella disponibilità dei dati e nelle risorse computazionali, i Modelli Linguistici Multimodali di Grande Dimensione (MLLM) hanno dimostrato capacità in vari campi. Tuttavia, la complessità quadratica dell'encoder visivo negli MLLM limita la risoluzione delle immagini in input. La maggior parte degli approcci attuali mitiga questo problema ritagliando immagini ad alta risoluzione in sotto-immagini più piccole, che vengono poi elaborate indipendentemente dall'encoder visivo. Nonostante catturino dettagli locali sufficienti, queste sotto-immagini mancano di contesto globale e non interagiscono tra loro. Per affrontare questa limitazione, proponiamo un nuovo MLLM, INF-LLaVA, progettato per una percezione efficace delle immagini ad alta risoluzione. INF-LLaVA incorpora due componenti innovative. In primo luogo, introduciamo un Modulo di Ritaglio a Doppia Prospettiva (DCM), che garantisce che ogni sotto-immagine contenga dettagli continui da una prospettiva locale e informazioni complete da una prospettiva globale. In secondo luogo, introduciamo un Modulo di Miglioramento a Doppia Prospettiva (DEM) per consentire il miglioramento reciproco delle caratteristiche globali e locali, permettendo a INF-LLaVA di elaborare efficacemente immagini ad alta risoluzione catturando simultaneamente dettagli locali e contesto globale completo. Estesi studi di ablazione convalidano l'efficacia di questi componenti, e esperimenti su un insieme diversificato di benchmark dimostrano che INF-LLaVA supera gli MLLM esistenti. Il codice e il modello pre-addestrato sono disponibili all'indirizzo https://github.com/WeihuangLin/INF-LLaVA.

English

With advancements in data availability and computing resources, Multimodal Large Language Models (MLLMs) have showcased capabilities across various fields. However, the quadratic complexity of the vision encoder in MLLMs constrains the resolution of input images. Most current approaches mitigate this issue by cropping high-resolution images into smaller sub-images, which are then processed independently by the vision encoder. Despite capturing sufficient local details, these sub-images lack global context and fail to interact with one another. To address this limitation, we propose a novel MLLM, INF-LLaVA, designed for effective high-resolution image perception. INF-LLaVA incorporates two innovative components. First, we introduce a Dual-perspective Cropping Module (DCM), which ensures that each sub-image contains continuous details from a local perspective and comprehensive information from a global perspective. Second, we introduce Dual-perspective Enhancement Module (DEM) to enable the mutual enhancement of global and local features, allowing INF-LLaVA to effectively process high-resolution images by simultaneously capturing detailed local information and comprehensive global context. Extensive ablation studies validate the effectiveness of these components, and experiments on a diverse set of benchmarks demonstrate that INF-LLaVA outperforms existing MLLMs. Code and pretrained model are available at https://github.com/WeihuangLin/INF-LLaVA.