YoChameleon : Génération personnalisée de vision et de langage

YoChameleon: Personalized Vision and Language Generation

April 29, 2025

Auteurs: Thao Nguyen, Krishna Kumar Singh, Jing Shi, Trung Bui, Yong Jae Lee, Yuheng Li

cs.AI

Résumé

Les grands modèles multimodaux (par exemple, GPT-4, Gemini, Chameleon) sont devenus des outils puissants avec des millions d'utilisateurs. Cependant, ils restent des modèles génériques et manquent de connaissances personnalisées sur les concepts spécifiques des utilisateurs. Les travaux précédents ont exploré la personnalisation pour la génération de texte, mais il reste incertain comment ces méthodes peuvent être adaptées à de nouvelles modalités, telles que la génération d'images. Dans cet article, nous présentons Yo'Chameleon, la première tentative d'étudier la personnalisation pour les grands modèles multimodaux. Étant donné 3 à 5 images d'un concept particulier, Yo'Chameleon utilise l'ajustement par prompts souples pour intégrer des informations spécifiques au sujet afin de (i) répondre à des questions sur le sujet et (ii) recréer des détails au niveau des pixels pour produire des images du sujet dans de nouveaux contextes. Yo'Chameleon est entraîné avec (i) un mécanisme d'optimisation par auto-prompting pour équilibrer les performances sur plusieurs modalités, et (ii) une approche de génération d'images « soft-positive » pour améliorer la qualité des images dans un contexte de few-shot.

English

Large Multimodal Models (e.g., GPT-4, Gemini, Chameleon) have evolved into powerful tools with millions of users. However, they remain generic models and lack personalized knowledge of specific user concepts. Previous work has explored personalization for text generation, yet it remains unclear how these methods can be adapted to new modalities, such as image generation. In this paper, we introduce Yo'Chameleon, the first attempt to study personalization for large multimodal models. Given 3-5 images of a particular concept, Yo'Chameleon leverages soft-prompt tuning to embed subject-specific information to (i) answer questions about the subject and (ii) recreate pixel-level details to produce images of the subject in new contexts. Yo'Chameleon is trained with (i) a self-prompting optimization mechanism to balance performance across multiple modalities, and (ii) a ``soft-positive" image generation approach to enhance image quality in a few-shot setting.