YoChameleon: パーソナライズされた視覚と言語生成

YoChameleon: Personalized Vision and Language Generation

April 29, 2025

著者: Thao Nguyen, Krishna Kumar Singh, Jing Shi, Trung Bui, Yong Jae Lee, Yuheng Li

cs.AI

要旨

大規模マルチモーダルモデル（例：GPT-4、Gemini、Chameleon）は、数百万のユーザーを抱える強力なツールへと進化してきました。しかし、これらのモデルは汎用的なモデルであり、特定のユーザーの概念に対するパーソナライズされた知識を欠いています。これまでの研究では、テキスト生成のためのパーソナライゼーションが探求されてきましたが、これらの手法を画像生成などの新しいモダリティに適応させる方法はまだ明確ではありません。本論文では、大規模マルチモーダルモデルにおけるパーソナライゼーションを研究する初の試みとして、Yo'Chameleonを紹介します。特定の概念の3〜5枚の画像が与えられた場合、Yo'Chameleonはソフトプロンプトチューニングを活用して、対象に関する情報を埋め込み、(i) 対象に関する質問に答え、(ii) 新しい文脈で対象の画像を生成するためにピクセルレベルの詳細を再現します。Yo'Chameleonは、(i) 複数のモダリティ間でパフォーマンスをバランスさせるための自己プロンプト最適化メカニズムと、(ii) 少数ショット設定で画像品質を向上させるための「ソフトポジティブ」画像生成アプローチを用いてトレーニングされます。

English

Large Multimodal Models (e.g., GPT-4, Gemini, Chameleon) have evolved into powerful tools with millions of users. However, they remain generic models and lack personalized knowledge of specific user concepts. Previous work has explored personalization for text generation, yet it remains unclear how these methods can be adapted to new modalities, such as image generation. In this paper, we introduce Yo'Chameleon, the first attempt to study personalization for large multimodal models. Given 3-5 images of a particular concept, Yo'Chameleon leverages soft-prompt tuning to embed subject-specific information to (i) answer questions about the subject and (ii) recreate pixel-level details to produce images of the subject in new contexts. Yo'Chameleon is trained with (i) a self-prompting optimization mechanism to balance performance across multiple modalities, and (ii) a ``soft-positive" image generation approach to enhance image quality in a few-shot setting.