YoChameleon: Generazione Personalizzata di Visione e Linguaggio

YoChameleon: Personalized Vision and Language Generation

April 29, 2025

Autori: Thao Nguyen, Krishna Kumar Singh, Jing Shi, Trung Bui, Yong Jae Lee, Yuheng Li

cs.AI

Abstract

I Grandi Modelli Multimodali (ad esempio, GPT-4, Gemini, Chameleon) si sono evoluti in strumenti potenti con milioni di utenti. Tuttavia, rimangono modelli generici e mancano di conoscenze personalizzate sui concetti specifici degli utenti. Ricerche precedenti hanno esplorato la personalizzazione per la generazione di testo, ma non è ancora chiaro come questi metodi possano essere adattati a nuove modalità, come la generazione di immagini. In questo articolo, introduciamo Yo'Chameleon, il primo tentativo di studiare la personalizzazione per i grandi modelli multimodali. Dati 3-5 immagini di un concetto specifico, Yo'Chameleon sfrutta il soft-prompt tuning per incorporare informazioni specifiche del soggetto per (i) rispondere a domande sul soggetto e (ii) ricreare dettagli a livello di pixel per produrre immagini del soggetto in nuovi contesti. Yo'Chameleon è addestrato con (i) un meccanismo di ottimizzazione self-prompting per bilanciare le prestazioni su più modalità, e (ii) un approccio di generazione di immagini "soft-positive" per migliorare la qualità delle immagini in un contesto few-shot.

English

Large Multimodal Models (e.g., GPT-4, Gemini, Chameleon) have evolved into powerful tools with millions of users. However, they remain generic models and lack personalized knowledge of specific user concepts. Previous work has explored personalization for text generation, yet it remains unclear how these methods can be adapted to new modalities, such as image generation. In this paper, we introduce Yo'Chameleon, the first attempt to study personalization for large multimodal models. Given 3-5 images of a particular concept, Yo'Chameleon leverages soft-prompt tuning to embed subject-specific information to (i) answer questions about the subject and (ii) recreate pixel-level details to produce images of the subject in new contexts. Yo'Chameleon is trained with (i) a self-prompting optimization mechanism to balance performance across multiple modalities, and (ii) a ``soft-positive" image generation approach to enhance image quality in a few-shot setting.