Метеор: Обход на основе Mamba обоснования для крупных моделей языка и зрения

Meteor: Mamba-based Traversal of Rationale for Large Language and Vision Models

May 24, 2024

Авторы: Byung-Kwan Lee, Chae Won Kim, Beomchan Park, Yong Man Ro

cs.AI

Аннотация

Быстрое развитие крупных языковых и визуальных моделей (LLVM) было обусловлено прогрессом в настройке визуальных инструкций. Недавно открытые LLVM собрали качественные наборы данных для настройки визуальных инструкций и использовали дополнительные визуальные кодировщики или несколько моделей компьютерного зрения для сокращения разрыва в производительности с мощными закрытыми LLVM. Эти усовершенствования связаны с многоаспектной информацией, необходимой для различных возможностей, включая фундаментальное понимание изображений, знание о реальном мире, общее чувство и необъектные концепции (например, диаграммы, схемы, символы, знаки и математические задачи), а также пошаговые процедуры для решения сложных вопросов. Извлекая из многоаспектной информации, мы представляем новую эффективную LLVM, основанную на методе обхода обоснований Mamba (Meteor), которая использует многоаспектные обоснования для улучшения возможностей понимания и ответа. Для встраивания длинных обоснований, содержащих обильную информацию, мы используем архитектуру Mamba, способную обрабатывать последовательные данные с линейной временной сложностью. Мы вводим новую концепцию обхода обоснований, которая облегчает эффективное встраивание обоснований. Впоследствии основная мультимодальная языковая модель (MLM) обучается генерировать ответы с помощью обоснования. Благодаря этим шагам Meteor достигает значительных улучшений в производительности визуально-языковых моделей на различных оценочных бенчмарках, требующих разнообразных возможностей, без увеличения размера модели или использования дополнительных визуальных кодировщиков и моделей компьютерного зрения.

English

The rapid development of large language and vision models (LLVMs) has been driven by advances in visual instruction tuning. Recently, open-source LLVMs have curated high-quality visual instruction tuning datasets and utilized additional vision encoders or multiple computer vision models in order to narrow the performance gap with powerful closed-source LLVMs. These advancements are attributed to multifaceted information required for diverse capabilities, including fundamental image understanding, real-world knowledge about common-sense and non-object concepts (e.g., charts, diagrams, symbols, signs, and math problems), and step-by-step procedures for solving complex questions. Drawing from the multifaceted information, we present a new efficient LLVM, Mamba-based traversal of rationales (Meteor), which leverages multifaceted rationale to enhance understanding and answering capabilities. To embed lengthy rationales containing abundant information, we employ the Mamba architecture, capable of processing sequential data with linear time complexity. We introduce a new concept of traversal of rationale that facilitates efficient embedding of rationale. Subsequently, the backbone multimodal language model (MLM) is trained to generate answers with the aid of rationale. Through these steps, Meteor achieves significant improvements in vision language performances across multiple evaluation benchmarks requiring diverse capabilities, without scaling up the model size or employing additional vision encoders and computer vision models.