Прогнозирование следующего токена в направлении мультимодального интеллекта: Обзор вопроса

Next Token Prediction Towards Multimodal Intelligence: A Comprehensive Survey

December 16, 2024

Авторы: Liang Chen, Zekun Wang, Shuhuai Ren, Lei Li, Haozhe Zhao, Yunshui Li, Zefan Cai, Hongcheng Guo, Lei Zhang, Yizhe Xiong, Yichi Zhang, Ruoyu Wu, Qingxiu Dong, Ge Zhang, Jian Yang, Lingwei Meng, Shujie Hu, Yulong Chen, Junyang Lin, Shuai Bai, Andreas Vlachos, Xu Tan, Minjia Zhang, Wen Xiao, Aaron Yee, Tianyu Liu, Baobao Chang

cs.AI

Аннотация

На основе основ языкового моделирования в обработке естественного языка Next Token Prediction (NTP) развился в универсальную цель обучения для задач машинного обучения в различных модальностях, достигнув значительного успеха. Поскольку Large Language Models (LLMs) продвигаются в объединении задач понимания и генерации в текстовой модальности, недавние исследования показали, что задачи из различных модальностей также могут быть эффективно включены в рамки NTP, преобразуя мультимодальную информацию в токены и предсказывая следующий токен в контексте. В данном обзоре представлена обширная таксономия, объединяющая как понимание, так и генерацию в мультимодальном обучении через призму NTP. Предложенная таксономия охватывает пять ключевых аспектов: мультимодальную токенизацию, архитектуры моделей MMNTP, унифицированное представление задач, наборы данных и оценку, а также открытые вызовы. Эта новая таксономия призвана помочь исследователям в изучении мультимодального интеллекта. Связанный репозиторий GitHub, собирающий последние статьи и репозитории, доступен по ссылке https://github.com/LMM101/Awesome-Multimodal-Next-Token-Prediction

English

Building on the foundations of language modeling in natural language processing, Next Token Prediction (NTP) has evolved into a versatile training objective for machine learning tasks across various modalities, achieving considerable success. As Large Language Models (LLMs) have advanced to unify understanding and generation tasks within the textual modality, recent research has shown that tasks from different modalities can also be effectively encapsulated within the NTP framework, transforming the multimodal information into tokens and predict the next one given the context. This survey introduces a comprehensive taxonomy that unifies both understanding and generation within multimodal learning through the lens of NTP. The proposed taxonomy covers five key aspects: Multimodal tokenization, MMNTP model architectures, unified task representation, datasets \& evaluation, and open challenges. This new taxonomy aims to aid researchers in their exploration of multimodal intelligence. An associated GitHub repository collecting the latest papers and repos is available at https://github.com/LMM101/Awesome-Multimodal-Next-Token-Prediction