Meteor : Parcours basé sur Mamba des justifications pour les grands modèles de langage et de vision

Meteor: Mamba-based Traversal of Rationale for Large Language and Vision Models

May 24, 2024

Auteurs: Byung-Kwan Lee, Chae Won Kim, Beomchan Park, Yong Man Ro

cs.AI

Résumé

Le développement rapide des grands modèles de langage et de vision (LLVMs) a été propulsé par les avancées dans le réglage par instructions visuelles. Récemment, les LLVMs open-source ont constitué des ensembles de données de haute qualité pour le réglage par instructions visuelles et ont utilisé des encodeurs visuels supplémentaires ou plusieurs modèles de vision par ordinateur afin de réduire l'écart de performance avec les puissants LLVMs propriétaires. Ces progrès sont attribués aux informations multidimensionnelles nécessaires pour des capacités variées, incluant la compréhension fondamentale des images, les connaissances du monde réel sur les concepts de bon sens et non-objectifs (par exemple, graphiques, diagrammes, symboles, panneaux et problèmes mathématiques), ainsi que les procédures étape par étape pour résoudre des questions complexes. En s'appuyant sur ces informations multidimensionnelles, nous présentons un nouveau LLVM efficace, Meteor (Mamba-based traversal of rationales), qui exploite des justifications multidimensionnelles pour améliorer les capacités de compréhension et de réponse. Pour intégrer des justifications longues contenant des informations abondantes, nous utilisons l'architecture Mamba, capable de traiter des données séquentielles avec une complexité temporelle linéaire. Nous introduisons un nouveau concept de parcours des justifications qui facilite l'intégration efficace des justifications. Par la suite, le modèle de langage multimodal (MLM) principal est entraîné à générer des réponses avec l'aide des justifications. Grâce à ces étapes, Meteor réalise des améliorations significatives dans les performances de langage visuel sur plusieurs benchmarks d'évaluation nécessitant des capacités variées, sans augmenter la taille du modèle ni utiliser d'encodeurs visuels ou de modèles de vision par ordinateur supplémentaires.

English

The rapid development of large language and vision models (LLVMs) has been driven by advances in visual instruction tuning. Recently, open-source LLVMs have curated high-quality visual instruction tuning datasets and utilized additional vision encoders or multiple computer vision models in order to narrow the performance gap with powerful closed-source LLVMs. These advancements are attributed to multifaceted information required for diverse capabilities, including fundamental image understanding, real-world knowledge about common-sense and non-object concepts (e.g., charts, diagrams, symbols, signs, and math problems), and step-by-step procedures for solving complex questions. Drawing from the multifaceted information, we present a new efficient LLVM, Mamba-based traversal of rationales (Meteor), which leverages multifaceted rationale to enhance understanding and answering capabilities. To embed lengthy rationales containing abundant information, we employ the Mamba architecture, capable of processing sequential data with linear time complexity. We introduce a new concept of traversal of rationale that facilitates efficient embedding of rationale. Subsequently, the backbone multimodal language model (MLM) is trained to generate answers with the aid of rationale. Through these steps, Meteor achieves significant improvements in vision language performances across multiple evaluation benchmarks requiring diverse capabilities, without scaling up the model size or employing additional vision encoders and computer vision models.