YoChameleon: Personalisierte Bild- und Sprachgenerierung

YoChameleon: Personalized Vision and Language Generation

April 29, 2025

Autoren: Thao Nguyen, Krishna Kumar Singh, Jing Shi, Trung Bui, Yong Jae Lee, Yuheng Li

cs.AI

Zusammenfassung

Große multimodale Modelle (z. B. GPT-4, Gemini, Chameleon) haben sich zu leistungsstarken Werkzeugen mit Millionen von Nutzern entwickelt. Sie bleiben jedoch generische Modelle und verfügen nicht über personalisiertes Wissen zu spezifischen Benutzerkonzepten. Frühere Arbeiten haben Personalisierung für die Textgenerierung untersucht, doch es bleibt unklar, wie diese Methoden auf neue Modalitäten, wie die Bildgenerierung, angepasst werden können. In diesem Artikel stellen wir Yo'Chameleon vor, den ersten Versuch, Personalisierung für große multimodale Modelle zu untersuchen. Mit 3-5 Bildern eines bestimmten Konzepts nutzt Yo'Chameleon Soft-Prompt-Tuning, um subjektspezifische Informationen einzubetten, um (i) Fragen zum Subjekt zu beantworten und (ii) Pixel-genaue Details nachzubilden, um Bilder des Subjekts in neuen Kontexten zu erzeugen. Yo'Chameleon wird trainiert mit (i) einem Selbst-Prompting-Optimierungsmechanismus, um die Leistung über mehrere Modalitäten hinweg auszugleichen, und (ii) einem „Soft-Positive“-Ansatz zur Bildgenerierung, um die Bildqualität in einem Few-Shot-Setting zu verbessern.

English

Large Multimodal Models (e.g., GPT-4, Gemini, Chameleon) have evolved into powerful tools with millions of users. However, they remain generic models and lack personalized knowledge of specific user concepts. Previous work has explored personalization for text generation, yet it remains unclear how these methods can be adapted to new modalities, such as image generation. In this paper, we introduce Yo'Chameleon, the first attempt to study personalization for large multimodal models. Given 3-5 images of a particular concept, Yo'Chameleon leverages soft-prompt tuning to embed subject-specific information to (i) answer questions about the subject and (ii) recreate pixel-level details to produce images of the subject in new contexts. Yo'Chameleon is trained with (i) a self-prompting optimization mechanism to balance performance across multiple modalities, and (ii) a ``soft-positive" image generation approach to enhance image quality in a few-shot setting.