TEAL: Tokenisierung und Einbettung ALLER Daten für multimodale Large Language Models

TEAL: Tokenize and Embed ALL for Multi-modal Large Language Models

November 8, 2023

Autoren: Zhen Yang, Yingxue Zhang, Fandong Meng, Jie Zhou

cs.AI

Zusammenfassung

Obwohl Multi-modale Große Sprachmodelle (MM-LLMs) in letzter Zeit bedeutende Fortschritte erzielt haben, kämpfen sie immer noch damit, die Interaktionen zwischen multi-modalen Eingaben und die Generierung in nicht-textuellen Modalitäten effizient zu modellieren. In dieser Arbeit schlagen wir TEAL (Tokenize and Embed ALl) vor, einen Ansatz, der die Eingabe aus jeder Modalität als Token-Sequenz behandelt und einen gemeinsamen Einbettungsraum für alle Modalitäten lernt. Konkret diskretisiert TEAL für die Eingabe aus jeder Modalität diese zunächst in eine Token-Sequenz mit einem vorgefertigten Tokenizer und bettet die Token-Sequenz mit einer lernbaren Einbettungsmatrix in einen gemeinsamen Einbettungsraum ein. MM-LLMs müssen lediglich die multi-modalen Token autoregressiv vorhersagen, wie es textuelle LLMs tun. Schließlich wird der entsprechende De-Tokenizer angewendet, um die Ausgabe in jeder Modalität basierend auf der vorhergesagten Token-Sequenz zu generieren. Mit dem gemeinsamen Einbettungsraum ermöglicht TEAL den eingefrorenen LLMs, sowohl Verstehens- als auch Generierungsaufgaben zu bewältigen, die nicht-textuelle Modalitäten wie Bilder und Audio betreffen. Somit kann das textuelle LLM lediglich als Schnittstelle fungieren und seine hohe Leistung in der textuellen Verarbeitung und Generierung beibehalten. Experimente zeigen, dass TEAL erhebliche Verbesserungen im multi-modalen Verständnis erzielt und ein einfaches Schema für multi-modale Generierungen implementiert.

English

Despite Multi-modal Large Language Models (MM-LLMs) have made exciting strides recently, they are still struggling to efficiently model the interactions among multi-modal inputs and the generation in non-textual modalities. In this work, we propose TEAL (Tokenize and Embed ALl)}, an approach to treat the input from any modality as a token sequence and learn a joint embedding space for all modalities. Specifically, for the input from any modality, TEAL first discretizes it into a token sequence with the off-the-shelf tokenizer and embeds the token sequence into a joint embedding space with a learnable embedding matrix. MM-LLMs just need to predict the multi-modal tokens autoregressively as the textual LLMs do. Finally, the corresponding de-tokenizer is applied to generate the output in each modality based on the predicted token sequence. With the joint embedding space, TEAL enables the frozen LLMs to perform both understanding and generation tasks involving non-textual modalities, such as image and audio. Thus, the textual LLM can just work as an interface and maintain its high performance in textual understanding and generation. Experiments show that TEAL achieves substantial improvements in multi-modal understanding, and implements a simple scheme for multi-modal generations.