TEAL: Tokeniseer en Embed ALLES voor Multi-modale Grote Taalmodellen

TEAL: Tokenize and Embed ALL for Multi-modal Large Language Models

November 8, 2023

Auteurs: Zhen Yang, Yingxue Zhang, Fandong Meng, Jie Zhou

cs.AI

Samenvatting

Ondanks dat Multi-modale Large Language Models (MM-LLMs) recentelijk opwindende vooruitgang hebben geboekt, hebben ze nog steeds moeite om de interacties tussen multi-modale invoer en de generatie in niet-tekstuele modaliteiten efficiënt te modelleren. In dit werk stellen we TEAL (Tokenize and Embed ALl) voor, een benadering waarbij de invoer van elke modaliteit wordt behandeld als een tokenreeks en een gezamenlijke inbeddingsruimte voor alle modaliteiten wordt geleerd. Specifiek discretiseert TEAL voor de invoer van elke modaliteit deze eerst tot een tokenreeks met behulp van een standaard tokenizer en embedt de tokenreeks in een gezamenlijke inbeddingsruimte met een leerbare inbeddingsmatrix. MM-LLMs hoeven alleen de multi-modale tokens autoregressief te voorspellen, zoals tekstuele LLMs doen. Ten slotte wordt de corresponderende de-tokenizer toegepast om de uitvoer in elke modaliteit te genereren op basis van de voorspelde tokenreeks. Met de gezamenlijke inbeddingsruimte stelt TEAL bevroren LLMs in staat om zowel begrips- als generatietaken uit te voeren die niet-tekstuele modaliteiten betreffen, zoals beeld en audio. Hierdoor kan de tekstuele LLM gewoon fungeren als een interface en zijn hoge prestaties in tekstueel begrip en generatie behouden. Experimenten tonen aan dat TEAL aanzienlijke verbeteringen bereikt in multi-modale begripsvaardigheden en een eenvoudig schema implementeert voor multi-modale generaties.

English

Despite Multi-modal Large Language Models (MM-LLMs) have made exciting strides recently, they are still struggling to efficiently model the interactions among multi-modal inputs and the generation in non-textual modalities. In this work, we propose TEAL (Tokenize and Embed ALl)}, an approach to treat the input from any modality as a token sequence and learn a joint embedding space for all modalities. Specifically, for the input from any modality, TEAL first discretizes it into a token sequence with the off-the-shelf tokenizer and embeds the token sequence into a joint embedding space with a learnable embedding matrix. MM-LLMs just need to predict the multi-modal tokens autoregressively as the textual LLMs do. Finally, the corresponding de-tokenizer is applied to generate the output in each modality based on the predicted token sequence. With the joint embedding space, TEAL enables the frozen LLMs to perform both understanding and generation tasks involving non-textual modalities, such as image and audio. Thus, the textual LLM can just work as an interface and maintain its high performance in textual understanding and generation. Experiments show that TEAL achieves substantial improvements in multi-modal understanding, and implements a simple scheme for multi-modal generations.