YoChameleon: Geração Personalizada de Visão e Linguagem
YoChameleon: Personalized Vision and Language Generation
April 29, 2025
Autores: Thao Nguyen, Krishna Kumar Singh, Jing Shi, Trung Bui, Yong Jae Lee, Yuheng Li
cs.AI
Resumo
Grandes Modelos Multimodais (por exemplo, GPT-4, Gemini, Chameleon) evoluíram para se tornarem ferramentas poderosas com milhões de usuários. No entanto, eles permanecem modelos genéricos e carecem de conhecimento personalizado sobre conceitos específicos do usuário. Trabalhos anteriores exploraram a personalização para geração de texto, mas ainda não está claro como esses métodos podem ser adaptados a novas modalidades, como a geração de imagens. Neste artigo, apresentamos o Yo'Chameleon, a primeira tentativa de estudar a personalização para grandes modelos multimodais. Dadas 3-5 imagens de um conceito específico, o Yo'Chameleon utiliza o ajuste de soft-prompt para incorporar informações específicas do sujeito a fim de (i) responder perguntas sobre o sujeito e (ii) recriar detalhes em nível de pixel para produzir imagens do sujeito em novos contextos. O Yo'Chameleon é treinado com (i) um mecanismo de otimização de auto-prompt para equilibrar o desempenho em múltiplas modalidades e (ii) uma abordagem de geração de imagens "soft-positive" para melhorar a qualidade das imagens em um cenário de poucos exemplos.
English
Large Multimodal Models (e.g., GPT-4, Gemini, Chameleon) have evolved into
powerful tools with millions of users. However, they remain generic models and
lack personalized knowledge of specific user concepts. Previous work has
explored personalization for text generation, yet it remains unclear how these
methods can be adapted to new modalities, such as image generation. In this
paper, we introduce Yo'Chameleon, the first attempt to study personalization
for large multimodal models. Given 3-5 images of a particular concept,
Yo'Chameleon leverages soft-prompt tuning to embed subject-specific information
to (i) answer questions about the subject and (ii) recreate pixel-level details
to produce images of the subject in new contexts. Yo'Chameleon is trained with
(i) a self-prompting optimization mechanism to balance performance across
multiple modalities, and (ii) a ``soft-positive" image generation approach to
enhance image quality in a few-shot setting.