Gepersonaliseerde multimodale grote taalmodellen: Een overzicht

Samenvatting

Multimodale Grote Taalmodellen (MGT's) zijn steeds belangrijker geworden vanwege hun state-of-the-art prestaties en het vermogen om meerdere gegevensmodaliteiten, zoals tekst, afbeeldingen en audio, te integreren om complexe taken met hoge nauwkeurigheid uit te voeren. Dit artikel presenteert een uitgebreid overzicht van gepersonaliseerde multimodale grote taalmodellen, met de focus op hun architectuur, trainingsmethoden en toepassingen. We stellen een intuïtieve taxonomie voor om de technieken te categoriseren die worden gebruikt om MGT's te personaliseren voor individuele gebruikers, en bespreken de technieken dienovereenkomstig. Verder bespreken we hoe dergelijke technieken kunnen worden gecombineerd of aangepast wanneer dat nodig is, waarbij we hun voordelen en onderliggende rationale benadrukken. We bieden ook een beknopt overzicht van personalisatietaken die zijn onderzocht in bestaand onderzoek, samen met de evaluatiemetrics die vaak worden gebruikt. Daarnaast vatten we de datasets samen die nuttig zijn voor het benchmarken van gepersonaliseerde MGT's. Tot slot schetsen we kritieke open uitdagingen. Dit overzicht heeft tot doel een waardevolle bron te zijn voor onderzoekers en praktijkmensen die de ontwikkeling van gepersonaliseerde multimodale grote taalmodellen willen begrijpen en bevorderen.

English

Multimodal Large Language Models (MLLMs) have become increasingly important due to their state-of-the-art performance and ability to integrate multiple data modalities, such as text, images, and audio, to perform complex tasks with high accuracy. This paper presents a comprehensive survey on personalized multimodal large language models, focusing on their architecture, training methods, and applications. We propose an intuitive taxonomy for categorizing the techniques used to personalize MLLMs to individual users, and discuss the techniques accordingly. Furthermore, we discuss how such techniques can be combined or adapted when appropriate, highlighting their advantages and underlying rationale. We also provide a succinct summary of personalization tasks investigated in existing research, along with the evaluation metrics commonly used. Additionally, we summarize the datasets that are useful for benchmarking personalized MLLMs. Finally, we outline critical open challenges. This survey aims to serve as a valuable resource for researchers and practitioners seeking to understand and advance the development of personalized multimodal large language models.

Gepersonaliseerde multimodale grote taalmodellen: Een overzicht

Personalized Multimodal Large Language Models: A Survey

Samenvatting

Support