個人向けマルチモーダル大規模言語モデル：サーベイ

要旨

マルチモーダル大規模言語モデル（MLLMs）は、最先端の性能と複数のデータモダリティ（テキスト、画像、音声など）を統合して高い精度で複雑なタスクを実行する能力から、ますます重要性を増しています。本論文では、個別のマルチモーダル大規模言語モデルに焦点を当て、そのアーキテクチャ、トレーニング方法、および応用について包括的な調査を行います。個々のユーザーに適応させるための技術を分類する直感的なタクソノミを提案し、それに基づいて技術を議論します。さらに、適切な場合にはこれらの技術を組み合わせたり適応したりする方法について議論し、その利点と根本的な理論を強調します。既存の研究で調査された個別化タスクと、一般的に使用される評価メトリクスについて簡潔にまとめます。さらに、個別化されたMLLMsのベンチマークに役立つデータセットをまとめます。最後に、重要な未解決課題を概説します。この調査は、個別化されたマルチモーダル大規模言語モデルの開発を理解し推進する研究者や実務家にとって貴重なリソースとなることを目指しています。

English

Multimodal Large Language Models (MLLMs) have become increasingly important due to their state-of-the-art performance and ability to integrate multiple data modalities, such as text, images, and audio, to perform complex tasks with high accuracy. This paper presents a comprehensive survey on personalized multimodal large language models, focusing on their architecture, training methods, and applications. We propose an intuitive taxonomy for categorizing the techniques used to personalize MLLMs to individual users, and discuss the techniques accordingly. Furthermore, we discuss how such techniques can be combined or adapted when appropriate, highlighting their advantages and underlying rationale. We also provide a succinct summary of personalization tasks investigated in existing research, along with the evaluation metrics commonly used. Additionally, we summarize the datasets that are useful for benchmarking personalized MLLMs. Finally, we outline critical open challenges. This survey aims to serve as a valuable resource for researchers and practitioners seeking to understand and advance the development of personalized multimodal large language models.

個人向けマルチモーダル大規模言語モデル：サーベイ

Personalized Multimodal Large Language Models: A Survey

要旨

Summary

Support

Support