Modelos de Lenguaje Multimodales Personalizados: Un Estudio

Personalized Multimodal Large Language Models: A Survey

December 3, 2024

Autores: Junda Wu, Hanjia Lyu, Yu Xia, Zhehao Zhang, Joe Barrow, Ishita Kumar, Mehrnoosh Mirtaheri, Hongjie Chen, Ryan A. Rossi, Franck Dernoncourt, Tong Yu, Ruiyi Zhang, Jiuxiang Gu, Nesreen K. Ahmed, Yu Wang, Xiang Chen, Hanieh Deilamsalehy, Namyong Park, Sungchul Kim, Huanrui Yang, Subrata Mitra, Zhengmian Hu, Nedim Lipka, Dang Nguyen, Yue Zhao, Jiebo Luo, Julian McAuley

cs.AI

Resumen

Los Modelos de Lenguaje Multimodales a Gran Escala (MLLMs) han cobrado una importancia creciente debido a su rendimiento de vanguardia y su capacidad para integrar múltiples modalidades de datos, como texto, imágenes y audio, para llevar a cabo tareas complejas con alta precisión. Este artículo presenta un estudio exhaustivo sobre modelos de lenguaje multimodales a gran escala personalizados, centrándose en su arquitectura, métodos de entrenamiento y aplicaciones. Proponemos una taxonomía intuitiva para categorizar las técnicas utilizadas para personalizar MLLMs para usuarios individuales, y discutimos las técnicas correspondientemente. Además, analizamos cómo dichas técnicas pueden combinarse o adaptarse cuando sea apropiado, resaltando sus ventajas y fundamentos subyacentes. También proporcionamos un resumen conciso de las tareas de personalización investigadas en la investigación existente, junto con las métricas de evaluación comúnmente utilizadas. Adicionalmente, resumimos los conjuntos de datos que son útiles para evaluar MLLMs personalizados. Por último, esbozamos desafíos abiertos críticos. Este estudio tiene como objetivo servir como un recurso valioso para investigadores y profesionales que buscan comprender y avanzar en el desarrollo de modelos de lenguaje multimodales a gran escala personalizados.

English

Multimodal Large Language Models (MLLMs) have become increasingly important due to their state-of-the-art performance and ability to integrate multiple data modalities, such as text, images, and audio, to perform complex tasks with high accuracy. This paper presents a comprehensive survey on personalized multimodal large language models, focusing on their architecture, training methods, and applications. We propose an intuitive taxonomy for categorizing the techniques used to personalize MLLMs to individual users, and discuss the techniques accordingly. Furthermore, we discuss how such techniques can be combined or adapted when appropriate, highlighting their advantages and underlying rationale. We also provide a succinct summary of personalization tasks investigated in existing research, along with the evaluation metrics commonly used. Additionally, we summarize the datasets that are useful for benchmarking personalized MLLMs. Finally, we outline critical open challenges. This survey aims to serve as a valuable resource for researchers and practitioners seeking to understand and advance the development of personalized multimodal large language models.