Predicción del Próximo Token hacia la Inteligencia Multimodal: Una Encuesta Exhaustiva

Next Token Prediction Towards Multimodal Intelligence: A Comprehensive Survey

December 16, 2024

Autores: Liang Chen, Zekun Wang, Shuhuai Ren, Lei Li, Haozhe Zhao, Yunshui Li, Zefan Cai, Hongcheng Guo, Lei Zhang, Yizhe Xiong, Yichi Zhang, Ruoyu Wu, Qingxiu Dong, Ge Zhang, Jian Yang, Lingwei Meng, Shujie Hu, Yulong Chen, Junyang Lin, Shuai Bai, Andreas Vlachos, Xu Tan, Minjia Zhang, Wen Xiao, Aaron Yee, Tianyu Liu, Baobao Chang

cs.AI

Resumen

Sobre la base del modelado del lenguaje en el procesamiento del lenguaje natural, la Predicción del Próximo Token (PPT) ha evolucionado hacia un objetivo de entrenamiento versátil para tareas de aprendizaje automático en diversas modalidades, logrando un éxito considerable. A medida que los Modelos de Lenguaje Grandes (MLG) han avanzado para unificar tareas de comprensión y generación dentro de la modalidad textual, investigaciones recientes han demostrado que las tareas de diferentes modalidades también pueden encapsularse de manera efectiva dentro del marco de la PPT, transformando la información multimodal en tokens y prediciendo el siguiente dado el contexto. Esta encuesta presenta una taxonomía integral que unifica tanto la comprensión como la generación dentro del aprendizaje multimodal a través de la lente de la PPT. La taxonomía propuesta abarca cinco aspectos clave: Tokenización multimodal, arquitecturas de modelos MMNTP, representación unificada de tareas, conjuntos de datos y evaluación, y desafíos abiertos. Esta nueva taxonomía tiene como objetivo ayudar a los investigadores en su exploración de la inteligencia multimodal. Un repositorio de GitHub asociado que recopila los últimos artículos y repositorios está disponible en https://github.com/LMM101/Awesome-Multimodal-Next-Token-Prediction

English

Building on the foundations of language modeling in natural language processing, Next Token Prediction (NTP) has evolved into a versatile training objective for machine learning tasks across various modalities, achieving considerable success. As Large Language Models (LLMs) have advanced to unify understanding and generation tasks within the textual modality, recent research has shown that tasks from different modalities can also be effectively encapsulated within the NTP framework, transforming the multimodal information into tokens and predict the next one given the context. This survey introduces a comprehensive taxonomy that unifies both understanding and generation within multimodal learning through the lens of NTP. The proposed taxonomy covers five key aspects: Multimodal tokenization, MMNTP model architectures, unified task representation, datasets \& evaluation, and open challenges. This new taxonomy aims to aid researchers in their exploration of multimodal intelligence. An associated GitHub repository collecting the latest papers and repos is available at https://github.com/LMM101/Awesome-Multimodal-Next-Token-Prediction