TEAL: Tokenizar e Incorporar TUDO para Modelos de Linguagem Multimodais de Grande Escala

TEAL: Tokenize and Embed ALL for Multi-modal Large Language Models

November 8, 2023

Autores: Zhen Yang, Yingxue Zhang, Fandong Meng, Jie Zhou

cs.AI

Resumo

Apesar dos avanços recentes e empolgantes dos Modelos de Linguagem de Grande Escala Multimodais (MM-LLMs), eles ainda enfrentam dificuldades para modelar eficientemente as interações entre entradas multimodais e a geração em modalidades não textuais. Neste trabalho, propomos o TEAL (Tokenize and Embed ALl), uma abordagem que trata a entrada de qualquer modalidade como uma sequência de tokens e aprende um espaço de incorporação conjunta para todas as modalidades. Especificamente, para a entrada de qualquer modalidade, o TEAL primeiro a discretiza em uma sequência de tokens usando um tokenizador disponível e incorpora a sequência de tokens em um espaço de incorporação conjunta com uma matriz de incorporação aprendível. Os MM-LLMs precisam apenas prever os tokens multimodais de forma autoregressiva, assim como os LLMs textuais fazem. Por fim, o des-tokenizador correspondente é aplicado para gerar a saída em cada modalidade com base na sequência de tokens prevista. Com o espaço de incorporação conjunta, o TEAL permite que os LLMs congelados realizem tarefas de compreensão e geração envolvendo modalidades não textuais, como imagem e áudio. Assim, o LLM textual pode funcionar apenas como uma interface e manter seu alto desempenho em compreensão e geração textual. Experimentos mostram que o TEAL alcança melhorias substanciais na compreensão multimodal e implementa um esquema simples para gerações multimodais.

English

Despite Multi-modal Large Language Models (MM-LLMs) have made exciting strides recently, they are still struggling to efficiently model the interactions among multi-modal inputs and the generation in non-textual modalities. In this work, we propose TEAL (Tokenize and Embed ALl)}, an approach to treat the input from any modality as a token sequence and learn a joint embedding space for all modalities. Specifically, for the input from any modality, TEAL first discretizes it into a token sequence with the off-the-shelf tokenizer and embeds the token sequence into a joint embedding space with a learnable embedding matrix. MM-LLMs just need to predict the multi-modal tokens autoregressively as the textual LLMs do. Finally, the corresponding de-tokenizer is applied to generate the output in each modality based on the predicted token sequence. With the joint embedding space, TEAL enables the frozen LLMs to perform both understanding and generation tasks involving non-textual modalities, such as image and audio. Thus, the textual LLM can just work as an interface and maintain its high performance in textual understanding and generation. Experiments show that TEAL achieves substantial improvements in multi-modal understanding, and implements a simple scheme for multi-modal generations.