Modèles de langage multimodaux personnalisés : Une enquête

Personalized Multimodal Large Language Models: A Survey

December 3, 2024

Auteurs: Junda Wu, Hanjia Lyu, Yu Xia, Zhehao Zhang, Joe Barrow, Ishita Kumar, Mehrnoosh Mirtaheri, Hongjie Chen, Ryan A. Rossi, Franck Dernoncourt, Tong Yu, Ruiyi Zhang, Jiuxiang Gu, Nesreen K. Ahmed, Yu Wang, Xiang Chen, Hanieh Deilamsalehy, Namyong Park, Sungchul Kim, Huanrui Yang, Subrata Mitra, Zhengmian Hu, Nedim Lipka, Dang Nguyen, Yue Zhao, Jiebo Luo, Julian McAuley

cs.AI

Résumé

Les Modèles de Langage Multimodaux à Grande Échelle (MLLMs) sont devenus de plus en plus importants en raison de leurs performances de pointe et de leur capacité à intégrer plusieurs modalités de données, telles que le texte, les images et l'audio, pour réaliser des tâches complexes avec une grande précision. Cet article présente une étude approfondie sur les modèles de langage multimodaux personnalisés, en mettant l'accent sur leur architecture, leurs méthodes d'entraînement et leurs applications. Nous proposons une taxonomie intuitive pour classer les techniques utilisées pour personnaliser les MLLMs pour les utilisateurs individuels, et discutons des techniques en conséquence. De plus, nous discutons de la manière dont de telles techniques peuvent être combinées ou adaptées lorsque cela est approprié, en mettant en avant leurs avantages et leur justification sous-jacente. Nous fournissons également un résumé succinct des tâches de personnalisation étudiées dans les recherches existantes, ainsi que des métriques d'évaluation couramment utilisées. De plus, nous résumons les ensembles de données utiles pour le benchmarking des MLLMs personnalisés. Enfin, nous présentons les défis ouverts critiques. Cette étude vise à servir de ressource précieuse pour les chercheurs et les praticiens cherchant à comprendre et à faire progresser le développement de modèles de langage multimodaux à grande échelle personnalisés.

English

Multimodal Large Language Models (MLLMs) have become increasingly important due to their state-of-the-art performance and ability to integrate multiple data modalities, such as text, images, and audio, to perform complex tasks with high accuracy. This paper presents a comprehensive survey on personalized multimodal large language models, focusing on their architecture, training methods, and applications. We propose an intuitive taxonomy for categorizing the techniques used to personalize MLLMs to individual users, and discuss the techniques accordingly. Furthermore, we discuss how such techniques can be combined or adapted when appropriate, highlighting their advantages and underlying rationale. We also provide a succinct summary of personalization tasks investigated in existing research, along with the evaluation metrics commonly used. Additionally, we summarize the datasets that are useful for benchmarking personalized MLLMs. Finally, we outline critical open challenges. This survey aims to serve as a valuable resource for researchers and practitioners seeking to understand and advance the development of personalized multimodal large language models.