Meteor: Traversata Basata su Mamba della Razionalità per Modelli Linguistici e Visivi di Grande Scala

Meteor: Mamba-based Traversal of Rationale for Large Language and Vision Models

May 24, 2024

Autori: Byung-Kwan Lee, Chae Won Kim, Beomchan Park, Yong Man Ro

cs.AI

Abstract

Il rapido sviluppo dei modelli linguistici e visivi di grandi dimensioni (LLVM) è stato guidato dai progressi nel visual instruction tuning. Recentemente, gli LLVM open-source hanno curato dataset di alta qualità per il visual instruction tuning e hanno utilizzato encoder visivi aggiuntivi o modelli di computer vision multipli al fine di ridurre il divario di prestazioni con i potenti LLVM closed-source. Questi progressi sono attribuiti alle informazioni multifaccettate necessarie per capacità diverse, tra cui la comprensione fondamentale delle immagini, la conoscenza del mondo reale su concetti di senso comune e non oggettuali (ad esempio, grafici, diagrammi, simboli, segni e problemi matematici), e procedure passo-passo per risolvere domande complesse. Attingendo da queste informazioni multifaccettate, presentiamo un nuovo LLVM efficiente, il traversal of rationales basato su Mamba (Meteor), che sfrutta il rationale multifaccettato per migliorare le capacità di comprensione e risposta. Per incorporare rationale lunghi contenenti informazioni abbondanti, utilizziamo l'architettura Mamba, in grado di elaborare dati sequenziali con complessità temporale lineare. Introduciamo un nuovo concetto di traversal of rationale che facilita l'incorporazione efficiente del rationale. Successivamente, il modello linguistico multimodale (MLM) di base viene addestrato per generare risposte con l'aiuto del rationale. Attraverso questi passaggi, Meteor ottiene miglioramenti significativi nelle prestazioni di visione e linguaggio su molteplici benchmark di valutazione che richiedono capacità diverse, senza aumentare le dimensioni del modello o impiegare encoder visivi aggiuntivi e modelli di computer vision.

English

The rapid development of large language and vision models (LLVMs) has been driven by advances in visual instruction tuning. Recently, open-source LLVMs have curated high-quality visual instruction tuning datasets and utilized additional vision encoders or multiple computer vision models in order to narrow the performance gap with powerful closed-source LLVMs. These advancements are attributed to multifaceted information required for diverse capabilities, including fundamental image understanding, real-world knowledge about common-sense and non-object concepts (e.g., charts, diagrams, symbols, signs, and math problems), and step-by-step procedures for solving complex questions. Drawing from the multifaceted information, we present a new efficient LLVM, Mamba-based traversal of rationales (Meteor), which leverages multifaceted rationale to enhance understanding and answering capabilities. To embed lengthy rationales containing abundant information, we employ the Mamba architecture, capable of processing sequential data with linear time complexity. We introduce a new concept of traversal of rationale that facilitates efficient embedding of rationale. Subsequently, the backbone multimodal language model (MLM) is trained to generate answers with the aid of rationale. Through these steps, Meteor achieves significant improvements in vision language performances across multiple evaluation benchmarks requiring diverse capabilities, without scaling up the model size or employing additional vision encoders and computer vision models.