Meteor: Mamba-basiertes Durchsuchen der Begründung für große Sprach- und Bildmodelle

Meteor: Mamba-based Traversal of Rationale for Large Language and Vision Models

May 24, 2024

papers.authors: Byung-Kwan Lee, Chae Won Kim, Beomchan Park, Yong Man Ro

cs.AI

papers.abstract

Die rasante Entwicklung großer Sprach- und Bildmodelle (LLVMs) wurde durch Fortschritte im visuellen Anweisungstuning vorangetrieben. In letzter Zeit haben Open-Source-LLVMs hochwertige Datensätze für visuelles Anweisungstuning kuratiert und zusätzliche Bildcodierer oder mehrere Computer-Visionsmodelle genutzt, um die Leistungslücke mit leistungsstarken Closed-Source-LLVMs zu verringern. Diese Fortschritte sind auf die vielschichtigen Informationen zurückzuführen, die für verschiedene Fähigkeiten erforderlich sind, einschließlich grundlegendem Bildverständnis, weltlichem Wissen über Alltagslogik und nicht-objektbezogene Konzepte (z. B. Diagramme, Symbole, Zeichen und mathematische Probleme) sowie schrittweise Verfahren zur Lösung komplexer Fragen. Unter Verwendung dieser vielschichtigen Informationen präsentieren wir ein neues effizientes LLVM, das auf dem Mamba-Traversal von Begründungen (Meteor) basiert, das vielschichtige Begründungen nutzt, um Verständnis- und Antwortfähigkeiten zu verbessern. Um umfangreiche Begründungen mit reichhaltigen Informationen einzubetten, verwenden wir die Mamba-Architektur, die in der Lage ist, sequenzielle Daten mit linearer Zeitkomplexität zu verarbeiten. Wir führen ein neues Konzept des Begründungstraversierens ein, das die effiziente Einbettung von Begründungen erleichtert. Anschließend wird das Backbone-Multimodell-Sprachmodell (MLM) darauf trainiert, Antworten mithilfe von Begründungen zu generieren. Durch diese Schritte erzielt Meteor signifikante Verbesserungen bei der Sprachleistung im Bereich der Bildverarbeitung über mehrere Bewertungsmaßstäbe hinweg, die verschiedene Fähigkeiten erfordern, ohne die Modellgröße zu skalieren oder zusätzliche Bildcodierer und Computer-Visionsmodelle einzusetzen.

English

The rapid development of large language and vision models (LLVMs) has been driven by advances in visual instruction tuning. Recently, open-source LLVMs have curated high-quality visual instruction tuning datasets and utilized additional vision encoders or multiple computer vision models in order to narrow the performance gap with powerful closed-source LLVMs. These advancements are attributed to multifaceted information required for diverse capabilities, including fundamental image understanding, real-world knowledge about common-sense and non-object concepts (e.g., charts, diagrams, symbols, signs, and math problems), and step-by-step procedures for solving complex questions. Drawing from the multifaceted information, we present a new efficient LLVM, Mamba-based traversal of rationales (Meteor), which leverages multifaceted rationale to enhance understanding and answering capabilities. To embed lengthy rationales containing abundant information, we employ the Mamba architecture, capable of processing sequential data with linear time complexity. We introduce a new concept of traversal of rationale that facilitates efficient embedding of rationale. Subsequently, the backbone multimodal language model (MLM) is trained to generate answers with the aid of rationale. Through these steps, Meteor achieves significant improvements in vision language performances across multiple evaluation benchmarks requiring diverse capabilities, without scaling up the model size or employing additional vision encoders and computer vision models.