Meteor: Recorrido Basado en Mamba de la Racionalidad para Modelos de Lenguaje y Visión a Gran Escala

Meteor: Mamba-based Traversal of Rationale for Large Language and Vision Models

May 24, 2024

Autores: Byung-Kwan Lee, Chae Won Kim, Beomchan Park, Yong Man Ro

cs.AI

Resumen

El rápido desarrollo de los modelos grandes de lenguaje y visión (LLVMs, por sus siglas en inglés) ha sido impulsado por avances en el ajuste de instrucciones visuales. Recientemente, los LLVMs de código abierto han curado conjuntos de datos de alta calidad para el ajuste de instrucciones visuales y han utilizado codificadores visuales adicionales o múltiples modelos de visión por computadora con el fin de reducir la brecha de rendimiento con los potentes LLVMs de código cerrado. Estos avances se atribuyen a la información multifacética requerida para diversas capacidades, incluyendo la comprensión fundamental de imágenes, el conocimiento del mundo real sobre conceptos de sentido común y no objetos (por ejemplo, gráficos, diagramas, símbolos, señales y problemas matemáticos), y procedimientos paso a paso para resolver preguntas complejas. Basándonos en esta información multifacética, presentamos un nuevo LLVM eficiente, el recorrido basado en Mamba de razonamientos (Meteor), que aprovecha los razonamientos multifacéticos para mejorar las capacidades de comprensión y respuesta. Para incorporar razonamientos extensos que contienen abundante información, empleamos la arquitectura Mamba, capaz de procesar datos secuenciales con complejidad temporal lineal. Introducimos un nuevo concepto de recorrido de razonamiento que facilita la incorporación eficiente de los razonamientos. Posteriormente, el modelo multimodal de lenguaje (MLM) principal se entrena para generar respuestas con la ayuda de los razonamientos. A través de estos pasos, Meteor logra mejoras significativas en el rendimiento de lenguaje visual en múltiples puntos de referencia de evaluación que requieren diversas capacidades, sin aumentar el tamaño del modelo ni emplear codificadores visuales adicionales o modelos de visión por computadora.

English

The rapid development of large language and vision models (LLVMs) has been driven by advances in visual instruction tuning. Recently, open-source LLVMs have curated high-quality visual instruction tuning datasets and utilized additional vision encoders or multiple computer vision models in order to narrow the performance gap with powerful closed-source LLVMs. These advancements are attributed to multifaceted information required for diverse capabilities, including fundamental image understanding, real-world knowledge about common-sense and non-object concepts (e.g., charts, diagrams, symbols, signs, and math problems), and step-by-step procedures for solving complex questions. Drawing from the multifaceted information, we present a new efficient LLVM, Mamba-based traversal of rationales (Meteor), which leverages multifaceted rationale to enhance understanding and answering capabilities. To embed lengthy rationales containing abundant information, we employ the Mamba architecture, capable of processing sequential data with linear time complexity. We introduce a new concept of traversal of rationale that facilitates efficient embedding of rationale. Subsequently, the backbone multimodal language model (MLM) is trained to generate answers with the aid of rationale. Through these steps, Meteor achieves significant improvements in vision language performances across multiple evaluation benchmarks requiring diverse capabilities, without scaling up the model size or employing additional vision encoders and computer vision models.