TEAL: Tokenizar e Incrustar TODO para Modelos de Lenguaje Multimodales a Gran Escala

TEAL: Tokenize and Embed ALL for Multi-modal Large Language Models

November 8, 2023

Autores: Zhen Yang, Yingxue Zhang, Fandong Meng, Jie Zhou

cs.AI

Resumen

A pesar de que los Modelos de Lenguaje Multimodales de Gran Escala (MM-LLMs) han logrado avances emocionantes recientemente, todavía enfrentan dificultades para modelar de manera eficiente las interacciones entre entradas multimodales y la generación en modalidades no textuales. En este trabajo, proponemos TEAL (Tokenize and Embed ALl), un enfoque que trata la entrada de cualquier modalidad como una secuencia de tokens y aprende un espacio de incrustación conjunta para todas las modalidades. Específicamente, para la entrada de cualquier modalidad, TEAL primero la discretiza en una secuencia de tokens utilizando un tokenizador estándar y luego incrusta la secuencia de tokens en un espacio de incrustación conjunta mediante una matriz de incrustación aprendible. Los MM-LLMs solo necesitan predecir los tokens multimodales de manera autoregresiva, como lo hacen los LLMs textuales. Finalmente, se aplica el correspondiente des-tokenizador para generar la salida en cada modalidad basándose en la secuencia de tokens predicha. Con el espacio de incrustación conjunta, TEAL permite que los LLMs congelados realicen tareas de comprensión y generación que involucran modalidades no textuales, como imágenes y audio. Así, el LLM textual puede funcionar simplemente como una interfaz y mantener su alto rendimiento en la comprensión y generación textual. Los experimentos muestran que TEAL logra mejoras sustanciales en la comprensión multimodal e implementa un esquema simple para las generaciones multimodales.

English

Despite Multi-modal Large Language Models (MM-LLMs) have made exciting strides recently, they are still struggling to efficiently model the interactions among multi-modal inputs and the generation in non-textual modalities. In this work, we propose TEAL (Tokenize and Embed ALl)}, an approach to treat the input from any modality as a token sequence and learn a joint embedding space for all modalities. Specifically, for the input from any modality, TEAL first discretizes it into a token sequence with the off-the-shelf tokenizer and embeds the token sequence into a joint embedding space with a learnable embedding matrix. MM-LLMs just need to predict the multi-modal tokens autoregressively as the textual LLMs do. Finally, the corresponding de-tokenizer is applied to generate the output in each modality based on the predicted token sequence. With the joint embedding space, TEAL enables the frozen LLMs to perform both understanding and generation tasks involving non-textual modalities, such as image and audio. Thus, the textual LLM can just work as an interface and maintain its high performance in textual understanding and generation. Experiments show that TEAL achieves substantial improvements in multi-modal understanding, and implements a simple scheme for multi-modal generations.