TEAL : Tokeniser et Intégrer TOUT pour les Modèles de Langage Multimodaux à Grande Échelle

TEAL: Tokenize and Embed ALL for Multi-modal Large Language Models

November 8, 2023

Auteurs: Zhen Yang, Yingxue Zhang, Fandong Meng, Jie Zhou

cs.AI

Résumé

Bien que les modèles de langage multi-modaux de grande taille (MM-LLMs) aient réalisé des progrès récents prometteurs, ils peinent encore à modéliser efficacement les interactions entre les entrées multi-modales et la génération dans des modalités non textuelles. Dans ce travail, nous proposons TEAL (Tokenize and Embed ALl), une approche qui traite l'entrée de toute modalité comme une séquence de tokens et apprend un espace d'embedding commun pour toutes les modalités. Plus précisément, pour une entrée de n'importe quelle modalité, TEAL commence par la discrétiser en une séquence de tokens à l'aide d'un tokenizer standard, puis intègre cette séquence dans un espace d'embedding commun via une matrice d'embedding apprenable. Les MM-LLMs n'ont alors qu'à prédire les tokens multi-modaux de manière autoregressive, comme le font les LLMs textuels. Enfin, un détokenizer correspondant est appliqué pour générer la sortie dans chaque modalité à partir de la séquence de tokens prédite. Grâce à l'espace d'embedding commun, TEAL permet aux LLMs figés d'exécuter des tâches de compréhension et de génération impliquant des modalités non textuelles, telles que l'image et l'audio. Ainsi, le LLM textuel peut simplement servir d'interface tout en conservant ses performances élevées en compréhension et génération textuelles. Les expériences montrent que TEAL obtient des améliorations substantielles en compréhension multi-modale et met en œuvre un schéma simple pour la génération multi-modale.

English

Despite Multi-modal Large Language Models (MM-LLMs) have made exciting strides recently, they are still struggling to efficiently model the interactions among multi-modal inputs and the generation in non-textual modalities. In this work, we propose TEAL (Tokenize and Embed ALl)}, an approach to treat the input from any modality as a token sequence and learn a joint embedding space for all modalities. Specifically, for the input from any modality, TEAL first discretizes it into a token sequence with the off-the-shelf tokenizer and embeds the token sequence into a joint embedding space with a learnable embedding matrix. MM-LLMs just need to predict the multi-modal tokens autoregressively as the textual LLMs do. Finally, the corresponding de-tokenizer is applied to generate the output in each modality based on the predicted token sequence. With the joint embedding space, TEAL enables the frozen LLMs to perform both understanding and generation tasks involving non-textual modalities, such as image and audio. Thus, the textual LLM can just work as an interface and maintain its high performance in textual understanding and generation. Experiments show that TEAL achieves substantial improvements in multi-modal understanding, and implements a simple scheme for multi-modal generations.