YoChameleon: Gepersonaliseerde Visuele en Taalgeneratie

YoChameleon: Personalized Vision and Language Generation

April 29, 2025

Auteurs: Thao Nguyen, Krishna Kumar Singh, Jing Shi, Trung Bui, Yong Jae Lee, Yuheng Li

cs.AI

Samenvatting

Grote Multimodale Modellen (bijv. GPT-4, Gemini, Chameleon) zijn geëvolueerd tot krachtige tools met miljoenen gebruikers. Toch blijven het generieke modellen die geen gepersonaliseerde kennis hebben van specifieke gebruikersconcepten. Eerder werk heeft personalisatie voor tekstgeneratie onderzocht, maar het is nog onduidelijk hoe deze methoden kunnen worden aangepast aan nieuwe modaliteiten, zoals beeldgeneratie. In dit artikel introduceren we Yo'Chameleon, de eerste poging om personalisatie voor grote multimodale modellen te bestuderen. Gegeven 3-5 afbeeldingen van een specifiek concept, benut Yo'Chameleon soft-prompt tuning om onderwerp-specifieke informatie in te bedden om (i) vragen over het onderwerp te beantwoorden en (ii) pixel-level details na te bootsen om afbeeldingen van het onderwerp in nieuwe contexten te produceren. Yo'Chameleon wordt getraind met (i) een zelf-prompting optimalisatiemechanisme om de prestaties over meerdere modaliteiten in balans te brengen, en (ii) een "soft-positive" beeldgeneratiebenadering om de beeldkwaliteit te verbeteren in een few-shot setting.

English

Large Multimodal Models (e.g., GPT-4, Gemini, Chameleon) have evolved into powerful tools with millions of users. However, they remain generic models and lack personalized knowledge of specific user concepts. Previous work has explored personalization for text generation, yet it remains unclear how these methods can be adapted to new modalities, such as image generation. In this paper, we introduce Yo'Chameleon, the first attempt to study personalization for large multimodal models. Given 3-5 images of a particular concept, Yo'Chameleon leverages soft-prompt tuning to embed subject-specific information to (i) answer questions about the subject and (ii) recreate pixel-level details to produce images of the subject in new contexts. Yo'Chameleon is trained with (i) a self-prompting optimization mechanism to balance performance across multiple modalities, and (ii) a ``soft-positive" image generation approach to enhance image quality in a few-shot setting.