TEAL: Tokenizzazione e Embedding Completo per Modelli Linguistici Multimodali di Grande Scala

TEAL: Tokenize and Embed ALL for Multi-modal Large Language Models

November 8, 2023

Autori: Zhen Yang, Yingxue Zhang, Fandong Meng, Jie Zhou

cs.AI

Abstract

Nonostante i Modelli Linguistici Multimodali di Grande Dimensione (MM-LLMs) abbiano compiuto progressi entusiasmanti di recente, continuano a incontrare difficoltà nel modellare in modo efficiente le interazioni tra input multimodali e nella generazione di contenuti in modalità non testuali. In questo lavoro, proponiamo TEAL (Tokenize and Embed ALl), un approccio che tratta l'input di qualsiasi modalità come una sequenza di token e apprende uno spazio di embedding condiviso per tutte le modalità. Nello specifico, per l'input di qualsiasi modalità, TEAL lo discretizza prima in una sequenza di token utilizzando un tokenizer preesistente e poi incorpora la sequenza di token in uno spazio di embedding condiviso attraverso una matrice di embedding apprendibile. Gli MM-LLMs devono semplicemente prevedere i token multimodali in modo autoregressivo, come fanno i modelli linguistici testuali. Infine, viene applicato il corrispondente de-tokenizer per generare l'output in ciascuna modalità basandosi sulla sequenza di token prevista. Grazie allo spazio di embedding condiviso, TEAL consente ai modelli linguistici congelati di eseguire sia compiti di comprensione che di generazione che coinvolgono modalità non testuali, come immagini e audio. In questo modo, il modello linguistico testuale può fungere semplicemente da interfaccia, mantenendo le sue elevate prestazioni nella comprensione e generazione testuale. Gli esperimenti dimostrano che TEAL ottiene miglioramenti significativi nella comprensione multimodale e implementa uno schema semplice per la generazione multimodale.

English

Despite Multi-modal Large Language Models (MM-LLMs) have made exciting strides recently, they are still struggling to efficiently model the interactions among multi-modal inputs and the generation in non-textual modalities. In this work, we propose TEAL (Tokenize and Embed ALl)}, an approach to treat the input from any modality as a token sequence and learn a joint embedding space for all modalities. Specifically, for the input from any modality, TEAL first discretizes it into a token sequence with the off-the-shelf tokenizer and embeds the token sequence into a joint embedding space with a learnable embedding matrix. MM-LLMs just need to predict the multi-modal tokens autoregressively as the textual LLMs do. Finally, the corresponding de-tokenizer is applied to generate the output in each modality based on the predicted token sequence. With the joint embedding space, TEAL enables the frozen LLMs to perform both understanding and generation tasks involving non-textual modalities, such as image and audio. Thus, the textual LLM can just work as an interface and maintain its high performance in textual understanding and generation. Experiments show that TEAL achieves substantial improvements in multi-modal understanding, and implements a simple scheme for multi-modal generations.