Meteor: Mamba-gebaseerde Traversering van Redeneringen voor Grote Taal- en Visiemodellen

Meteor: Mamba-based Traversal of Rationale for Large Language and Vision Models

May 24, 2024

Auteurs: Byung-Kwan Lee, Chae Won Kim, Beomchan Park, Yong Man Ro

cs.AI

Samenvatting

De snelle ontwikkeling van grote taal- en visuele modellen (LLVMs) is gedreven door vooruitgang in visuele instructieafstemming. Recentelijk hebben open-source LLVMs hoogwaardige datasets voor visuele instructieafstemming samengesteld en aanvullende visuele encoders of meerdere computervisiemodellen gebruikt om de prestatiekloof met krachtige closed-source LLVMs te verkleinen. Deze vooruitgang is te danken aan de veelzijdige informatie die nodig is voor diverse capaciteiten, waaronder fundamenteel beeldbegrip, kennis van de echte wereld over alledaagse en niet-objectgerelateerde concepten (bijv. grafieken, diagrammen, symbolen, tekens en wiskundige problemen), en stapsgewijze procedures voor het oplossen van complexe vragen. Gebaseerd op deze veelzijdige informatie presenteren we een nieuwe efficiënte LLVM, Mamba-based traversal of rationales (Meteor), die gebruikmaakt van veelzijdige redeneringen om het begrip en antwoordvermogen te verbeteren. Om uitgebreide redeneringen met veel informatie in te bedden, gebruiken we de Mamba-architectuur, die sequentiële gegevens kan verwerken met lineaire tijdcomplexiteit. We introduceren een nieuw concept van 'traversal of rationale' dat een efficiënte inbedding van redeneringen mogelijk maakt. Vervolgens wordt het multimodale taalmodel (MLM) getraind om antwoorden te genereren met behulp van redeneringen. Door deze stappen behaalt Meteor aanzienlijke verbeteringen in visuele taalprestaties op meerdere evaluatiebenchmarks die diverse capaciteiten vereisen, zonder het model te vergroten of aanvullende visuele encoders en computervisiemodellen te gebruiken.

English

The rapid development of large language and vision models (LLVMs) has been driven by advances in visual instruction tuning. Recently, open-source LLVMs have curated high-quality visual instruction tuning datasets and utilized additional vision encoders or multiple computer vision models in order to narrow the performance gap with powerful closed-source LLVMs. These advancements are attributed to multifaceted information required for diverse capabilities, including fundamental image understanding, real-world knowledge about common-sense and non-object concepts (e.g., charts, diagrams, symbols, signs, and math problems), and step-by-step procedures for solving complex questions. Drawing from the multifaceted information, we present a new efficient LLVM, Mamba-based traversal of rationales (Meteor), which leverages multifaceted rationale to enhance understanding and answering capabilities. To embed lengthy rationales containing abundant information, we employ the Mamba architecture, capable of processing sequential data with linear time complexity. We introduce a new concept of traversal of rationale that facilitates efficient embedding of rationale. Subsequently, the backbone multimodal language model (MLM) is trained to generate answers with the aid of rationale. Through these steps, Meteor achieves significant improvements in vision language performances across multiple evaluation benchmarks requiring diverse capabilities, without scaling up the model size or employing additional vision encoders and computer vision models.