InfiMM-HD : Un bond en avant dans la compréhension multimodale haute résolution
InfiMM-HD: A Leap Forward in High-Resolution Multimodal Understanding
March 3, 2024
Auteurs: Haogeng Liu, Quanzeng You, Xiaotian Han, Yiqi Wang, Bohan Zhai, Yongfei Liu, Yunzhe Tao, Huaibo Huang, Ran He, Hongxia Yang
cs.AI
Résumé
Les modèles de langage multimodaux de grande taille (MLLMs) ont connu des avancées significatives récemment. Néanmoins, des défis persistent dans la reconnaissance et la compréhension précises des détails complexes au sein d'images haute résolution. Bien qu'indispensable au développement de MLLMs robustes, ce domaine reste sous-exploré. Pour relever ce défi, notre travail présente InfiMM-HD, une nouvelle architecture spécialement conçue pour traiter des images de différentes résolutions avec une faible surcharge computationnelle. Cette innovation facilite l'extension des MLLMs à des capacités de plus haute résolution. InfiMM-HD intègre un module d'attention croisée et des fenêtres visuelles pour réduire les coûts de calcul. En combinant cette conception architecturale avec un pipeline d'entraînement en quatre étapes, notre modèle atteint une perception visuelle améliorée de manière efficace et économique. Une étude empirique souligne la robustesse et l'efficacité d'InfiMM-HD, ouvrant de nouvelles voies d'exploration dans des domaines connexes. Les codes et modèles sont disponibles à l'adresse suivante : https://huggingface.co/Infi-MM/infimm-hd.
English
Multimodal Large Language Models (MLLMs) have experienced significant
advancements recently. Nevertheless, challenges persist in the accurate
recognition and comprehension of intricate details within high-resolution
images. Despite being indispensable for the development of robust MLLMs, this
area remains underinvestigated. To tackle this challenge, our work introduces
InfiMM-HD, a novel architecture specifically designed for processing images of
different resolutions with low computational overhead. This innovation
facilitates the enlargement of MLLMs to higher-resolution capabilities.
InfiMM-HD incorporates a cross-attention module and visual windows to reduce
computation costs. By integrating this architectural design with a four-stage
training pipeline, our model attains improved visual perception efficiently and
cost-effectively. Empirical study underscores the robustness and effectiveness
of InfiMM-HD, opening new avenues for exploration in related areas. Codes and
models can be found at https://huggingface.co/Infi-MM/infimm-hd