Vorhersage des nächsten Tokens hin zu multimodaler Intelligenz: Eine umfassende Übersicht

Next Token Prediction Towards Multimodal Intelligence: A Comprehensive Survey

December 16, 2024

Autoren: Liang Chen, Zekun Wang, Shuhuai Ren, Lei Li, Haozhe Zhao, Yunshui Li, Zefan Cai, Hongcheng Guo, Lei Zhang, Yizhe Xiong, Yichi Zhang, Ruoyu Wu, Qingxiu Dong, Ge Zhang, Jian Yang, Lingwei Meng, Shujie Hu, Yulong Chen, Junyang Lin, Shuai Bai, Andreas Vlachos, Xu Tan, Minjia Zhang, Wen Xiao, Aaron Yee, Tianyu Liu, Baobao Chang

cs.AI

Zusammenfassung

Aufbauend auf den Grundlagen des Sprachmodellierens in der natürlichen Sprachverarbeitung hat sich die Next Token Prediction (NTP) zu einem vielseitigen Schulungsziel für maschinelles Lernen in verschiedenen Modalitäten entwickelt und dabei beträchtlichen Erfolg erzielt. Da Large Language Models (LLMs) sich weiterentwickelt haben, um Verständnis- und Generierungsaufgaben innerhalb der textuellen Modalität zu vereinen, hat die jüngste Forschung gezeigt, dass Aufgaben aus verschiedenen Modalitäten ebenfalls effektiv im NTP-Framework zusammengefasst werden können, wodurch multimodale Informationen in Tokens umgewandelt und das nächste Token basierend auf dem Kontext vorhergesagt wird. Diese Übersicht stellt eine umfassende Taxonomie vor, die sowohl Verständnis als auch Generierung im multimodalen Lernen durch die Linse von NTP vereint. Die vorgeschlagene Taxonomie umfasst fünf Schlüsselaspekte: Multimodale Tokenisierung, MMNTP-Modellarchitekturen, vereinheitlichte Aufgabenrepräsentation, Datensätze \& Evaluierung sowie offene Herausforderungen. Diese neue Taxonomie zielt darauf ab, Forscher bei der Erforschung multimodaler Intelligenz zu unterstützen. Ein zugehöriges GitHub-Repository, das die neuesten Arbeiten und Repos sammelt, ist unter https://github.com/LMM101/Awesome-Multimodal-Next-Token-Prediction verfügbar.

English

Building on the foundations of language modeling in natural language processing, Next Token Prediction (NTP) has evolved into a versatile training objective for machine learning tasks across various modalities, achieving considerable success. As Large Language Models (LLMs) have advanced to unify understanding and generation tasks within the textual modality, recent research has shown that tasks from different modalities can also be effectively encapsulated within the NTP framework, transforming the multimodal information into tokens and predict the next one given the context. This survey introduces a comprehensive taxonomy that unifies both understanding and generation within multimodal learning through the lens of NTP. The proposed taxonomy covers five key aspects: Multimodal tokenization, MMNTP model architectures, unified task representation, datasets \& evaluation, and open challenges. This new taxonomy aims to aid researchers in their exploration of multimodal intelligence. An associated GitHub repository collecting the latest papers and repos is available at https://github.com/LMM101/Awesome-Multimodal-Next-Token-Prediction