Modelos de Linguagem Multimodais Personalizados: Uma Pesquisa
Personalized Multimodal Large Language Models: A Survey
December 3, 2024
Autores: Junda Wu, Hanjia Lyu, Yu Xia, Zhehao Zhang, Joe Barrow, Ishita Kumar, Mehrnoosh Mirtaheri, Hongjie Chen, Ryan A. Rossi, Franck Dernoncourt, Tong Yu, Ruiyi Zhang, Jiuxiang Gu, Nesreen K. Ahmed, Yu Wang, Xiang Chen, Hanieh Deilamsalehy, Namyong Park, Sungchul Kim, Huanrui Yang, Subrata Mitra, Zhengmian Hu, Nedim Lipka, Dang Nguyen, Yue Zhao, Jiebo Luo, Julian McAuley
cs.AI
Resumo
Os Modelos de Linguagem Multimodais de Grande Escala (MLLMs) tornaram-se cada vez mais importantes devido ao seu desempenho de ponta e capacidade de integrar múltiplas modalidades de dados, como texto, imagens e áudio, para realizar tarefas complexas com alta precisão. Este artigo apresenta uma pesquisa abrangente sobre modelos de linguagem multimodais de grande escala personalizados, focando em sua arquitetura, métodos de treinamento e aplicações. Propomos uma taxonomia intuitiva para categorizar as técnicas usadas para personalizar MLLMs para usuários individuais e discutimos as técnicas correspondentes. Além disso, discutimos como tais técnicas podem ser combinadas ou adaptadas quando apropriado, destacando suas vantagens e fundamentos subjacentes. Também fornecemos um resumo sucinto das tarefas de personalização investigadas em pesquisas existentes, juntamente com as métricas de avaliação comumente utilizadas. Adicionalmente, resumimos os conjuntos de dados úteis para a avaliação de MLLMs personalizados. Por fim, delineamos desafios críticos em aberto. Esta pesquisa tem como objetivo servir como um recurso valioso para pesquisadores e profissionais que buscam compreender e avançar no desenvolvimento de modelos de linguagem multimodais de grande escala personalizados.
English
Multimodal Large Language Models (MLLMs) have become increasingly important
due to their state-of-the-art performance and ability to integrate multiple
data modalities, such as text, images, and audio, to perform complex tasks with
high accuracy. This paper presents a comprehensive survey on personalized
multimodal large language models, focusing on their architecture, training
methods, and applications. We propose an intuitive taxonomy for categorizing
the techniques used to personalize MLLMs to individual users, and discuss the
techniques accordingly. Furthermore, we discuss how such techniques can be
combined or adapted when appropriate, highlighting their advantages and
underlying rationale. We also provide a succinct summary of personalization
tasks investigated in existing research, along with the evaluation metrics
commonly used. Additionally, we summarize the datasets that are useful for
benchmarking personalized MLLMs. Finally, we outline critical open challenges.
This survey aims to serve as a valuable resource for researchers and
practitioners seeking to understand and advance the development of personalized
multimodal large language models.