Meteor: Travessia Baseada em Mamba de Racionalidade para Modelos de Linguagem e Visão em Grande Escala

Meteor: Mamba-based Traversal of Rationale for Large Language and Vision Models

May 24, 2024

Autores: Byung-Kwan Lee, Chae Won Kim, Beomchan Park, Yong Man Ro

cs.AI

Resumo

O rápido desenvolvimento de grandes modelos de linguagem e visão (LLVMs) tem sido impulsionado por avanços no ajuste fino de instruções visuais. Recentemente, LLVMs de código aberto têm curado conjuntos de dados de alta qualidade para ajuste fino de instruções visuais e utilizado codificadores de visão adicionais ou múltiplos modelos de visão computacional para reduzir a lacuna de desempenho em relação aos poderosos LLVMs de código fechado. Esses avanços são atribuídos às informações multifacetadas necessárias para diversas capacidades, incluindo compreensão fundamental de imagens, conhecimento do mundo real sobre conceitos de senso comum e não objetos (por exemplo, gráficos, diagramas, símbolos, sinais e problemas matemáticos), e procedimentos passo a passo para resolver questões complexas. Com base nessas informações multifacetadas, apresentamos um novo LLVM eficiente, o Mamba-based traversal of rationales (Meteor), que aproveita racionais multifacetados para aprimorar as capacidades de compreensão e resposta. Para incorporar racionais extensos contendo informações abundantes, empregamos a arquitetura Mamba, capaz de processar dados sequenciais com complexidade de tempo linear. Introduzimos um novo conceito de travessia de racional que facilita a incorporação eficiente de racionais. Posteriormente, o modelo multimodal de linguagem (MLM) principal é treinado para gerar respostas com o auxílio de racionais. Por meio dessas etapas, o Meteor alcança melhorias significativas no desempenho de linguagem visual em diversos benchmarks de avaliação que exigem múltiplas capacidades, sem aumentar o tamanho do modelo ou empregar codificadores de visão e modelos de visão computacional adicionais.

English

The rapid development of large language and vision models (LLVMs) has been driven by advances in visual instruction tuning. Recently, open-source LLVMs have curated high-quality visual instruction tuning datasets and utilized additional vision encoders or multiple computer vision models in order to narrow the performance gap with powerful closed-source LLVMs. These advancements are attributed to multifaceted information required for diverse capabilities, including fundamental image understanding, real-world knowledge about common-sense and non-object concepts (e.g., charts, diagrams, symbols, signs, and math problems), and step-by-step procedures for solving complex questions. Drawing from the multifaceted information, we present a new efficient LLVM, Mamba-based traversal of rationales (Meteor), which leverages multifaceted rationale to enhance understanding and answering capabilities. To embed lengthy rationales containing abundant information, we employ the Mamba architecture, capable of processing sequential data with linear time complexity. We introduce a new concept of traversal of rationale that facilitates efficient embedding of rationale. Subsequently, the backbone multimodal language model (MLM) is trained to generate answers with the aid of rationale. Through these steps, Meteor achieves significant improvements in vision language performances across multiple evaluation benchmarks requiring diverse capabilities, without scaling up the model size or employing additional vision encoders and computer vision models.