TEAL: Токенизация и встраивание ВСЕГО для многомодальных больших языковых моделей

TEAL: Tokenize and Embed ALL for Multi-modal Large Language Models

November 8, 2023

Авторы: Zhen Yang, Yingxue Zhang, Fandong Meng, Jie Zhou

cs.AI

Аннотация

Несмотря на то, что мультимодальные большие языковые модели (MM-LLMs) в последнее время добились значительных успехов, они по-прежнему сталкиваются с трудностями в эффективном моделировании взаимодействий между мультимодальными входными данными и генерацией в нетекстовых модальностях. В данной работе мы предлагаем TEAL (Tokenize and Embed ALl) — подход, который рассматривает входные данные любой модальности как последовательность токенов и обучает совместное пространство вложений для всех модальностей. В частности, для входных данных любой модальности TEAL сначала дискретизирует их в последовательность токенов с использованием готового токенизатора, а затем встраивает эту последовательность в совместное пространство вложений с помощью обучаемой матрицы вложений. MM-LLMs просто предсказывают мультимодальные токены авторегрессивно, как это делают текстовые LLM. Наконец, соответствующий детокенизатор применяется для генерации выходных данных в каждой модальности на основе предсказанной последовательности токенов. Благодаря совместному пространству вложений TEAL позволяет замороженным LLM выполнять задачи понимания и генерации, связанные с нетекстовыми модальностями, такими как изображения и аудио. Таким образом, текстовая LLM может выступать в качестве интерфейса и сохранять свою высокую производительность в текстовом понимании и генерации. Эксперименты показывают, что TEAL достигает существенных улучшений в мультимодальном понимании и реализует простую схему для мультимодальной генерации.

English

Despite Multi-modal Large Language Models (MM-LLMs) have made exciting strides recently, they are still struggling to efficiently model the interactions among multi-modal inputs and the generation in non-textual modalities. In this work, we propose TEAL (Tokenize and Embed ALl)}, an approach to treat the input from any modality as a token sequence and learn a joint embedding space for all modalities. Specifically, for the input from any modality, TEAL first discretizes it into a token sequence with the off-the-shelf tokenizer and embeds the token sequence into a joint embedding space with a learnable embedding matrix. MM-LLMs just need to predict the multi-modal tokens autoregressively as the textual LLMs do. Finally, the corresponding de-tokenizer is applied to generate the output in each modality based on the predicted token sequence. With the joint embedding space, TEAL enables the frozen LLMs to perform both understanding and generation tasks involving non-textual modalities, such as image and audio. Thus, the textual LLM can just work as an interface and maintain its high performance in textual understanding and generation. Experiments show that TEAL achieves substantial improvements in multi-modal understanding, and implements a simple scheme for multi-modal generations.