INF-LLaVA: Percepción de Doble Perspectiva para un Modelo de Lenguaje Grande Multimodal de Alta Resolución

INF-LLaVA: Dual-perspective Perception for High-Resolution Multimodal Large Language Model

July 23, 2024

Autores: Yiwei Ma, Zhibin Wang, Xiaoshuai Sun, Weihuang Lin, Qiang Zhou, Jiayi Ji, Rongrong Ji

cs.AI

Resumen

Con los avances en la disponibilidad de datos y recursos informáticos, los Modelos de Lenguaje Multimodales Grandes (MLLMs) han demostrado capacidades en diversos campos. Sin embargo, la complejidad cuadrática del codificador de visión en los MLLMs limita la resolución de las imágenes de entrada. La mayoría de los enfoques actuales mitigan este problema al recortar imágenes de alta resolución en subimágenes más pequeñas, que luego son procesadas de forma independiente por el codificador de visión. A pesar de capturar detalles locales suficientes, estas subimágenes carecen de contexto global y no interactúan entre sí. Para abordar esta limitación, proponemos un nuevo MLLM, INF-LLaVA, diseñado para una percepción efectiva de imágenes de alta resolución. INF-LLaVA incorpora dos componentes innovadores. En primer lugar, introducimos un Módulo de Recorte de Doble Perspectiva (DCM), que garantiza que cada subimagen contenga detalles continuos desde una perspectiva local e información completa desde una perspectiva global. En segundo lugar, presentamos el Módulo de Mejora de Doble Perspectiva (DEM) para permitir la mejora mutua de las características globales y locales, lo que permite a INF-LLaVA procesar eficazmente imágenes de alta resolución capturando simultáneamente información detallada local y contexto global completo. Estudios de ablación extensos validan la efectividad de estos componentes, y experimentos en un conjunto diverso de benchmarks demuestran que INF-LLaVA supera a los MLLMs existentes. El código y el modelo preentrenado están disponibles en https://github.com/WeihuangLin/INF-LLaVA.

English

With advancements in data availability and computing resources, Multimodal Large Language Models (MLLMs) have showcased capabilities across various fields. However, the quadratic complexity of the vision encoder in MLLMs constrains the resolution of input images. Most current approaches mitigate this issue by cropping high-resolution images into smaller sub-images, which are then processed independently by the vision encoder. Despite capturing sufficient local details, these sub-images lack global context and fail to interact with one another. To address this limitation, we propose a novel MLLM, INF-LLaVA, designed for effective high-resolution image perception. INF-LLaVA incorporates two innovative components. First, we introduce a Dual-perspective Cropping Module (DCM), which ensures that each sub-image contains continuous details from a local perspective and comprehensive information from a global perspective. Second, we introduce Dual-perspective Enhancement Module (DEM) to enable the mutual enhancement of global and local features, allowing INF-LLaVA to effectively process high-resolution images by simultaneously capturing detailed local information and comprehensive global context. Extensive ablation studies validate the effectiveness of these components, and experiments on a diverse set of benchmarks demonstrate that INF-LLaVA outperforms existing MLLMs. Code and pretrained model are available at https://github.com/WeihuangLin/INF-LLaVA.