Prédiction du prochain jeton vers l'intelligence multimodale : Une enquête complète

Next Token Prediction Towards Multimodal Intelligence: A Comprehensive Survey

December 16, 2024

Auteurs: Liang Chen, Zekun Wang, Shuhuai Ren, Lei Li, Haozhe Zhao, Yunshui Li, Zefan Cai, Hongcheng Guo, Lei Zhang, Yizhe Xiong, Yichi Zhang, Ruoyu Wu, Qingxiu Dong, Ge Zhang, Jian Yang, Lingwei Meng, Shujie Hu, Yulong Chen, Junyang Lin, Shuai Bai, Andreas Vlachos, Xu Tan, Minjia Zhang, Wen Xiao, Aaron Yee, Tianyu Liu, Baobao Chang

cs.AI

Résumé

En s'appuyant sur les fondements de la modélisation linguistique en traitement automatique du langage naturel, la Prédiction du Prochain Token (PPT) a évolué en un objectif d'entraînement polyvalent pour les tâches d'apprentissage automatique à travers diverses modalités, atteignant un succès considérable. Alors que les Grands Modèles de Langage (GML) ont progressé pour unifier les tâches de compréhension et de génération au sein de la modalité textuelle, des recherches récentes ont montré que des tâches de différentes modalités peuvent également être efficacement encapsulées dans le cadre de la PPT, transformant les informations multimodales en tokens et prédisant le suivant en fonction du contexte. Cette étude présente une taxonomie complète qui unifie à la fois la compréhension et la génération au sein de l'apprentissage multimodal à travers le prisme de la PPT. La taxonomie proposée couvre cinq aspects clés : la tokenisation multimodale, les architectures de modèles MMNTP, la représentation unifiée des tâches, les ensembles de données et l'évaluation, ainsi que les défis ouverts. Cette nouvelle taxonomie vise à aider les chercheurs dans leur exploration de l'intelligence multimodale. Un dépôt GitHub associé collectant les derniers articles et dépôts est disponible sur https://github.com/LMM101/Awesome-Multimodal-Next-Token-Prediction

English

Building on the foundations of language modeling in natural language processing, Next Token Prediction (NTP) has evolved into a versatile training objective for machine learning tasks across various modalities, achieving considerable success. As Large Language Models (LLMs) have advanced to unify understanding and generation tasks within the textual modality, recent research has shown that tasks from different modalities can also be effectively encapsulated within the NTP framework, transforming the multimodal information into tokens and predict the next one given the context. This survey introduces a comprehensive taxonomy that unifies both understanding and generation within multimodal learning through the lens of NTP. The proposed taxonomy covers five key aspects: Multimodal tokenization, MMNTP model architectures, unified task representation, datasets \& evaluation, and open challenges. This new taxonomy aims to aid researchers in their exploration of multimodal intelligence. An associated GitHub repository collecting the latest papers and repos is available at https://github.com/LMM101/Awesome-Multimodal-Next-Token-Prediction