YoChameleon: Персонализированная генерация изображений и текста

YoChameleon: Personalized Vision and Language Generation

April 29, 2025

Авторы: Thao Nguyen, Krishna Kumar Singh, Jing Shi, Trung Bui, Yong Jae Lee, Yuheng Li

cs.AI

Аннотация

Крупные мультимодальные модели (например, GPT-4, Gemini, Chameleon) превратились в мощные инструменты с миллионами пользователей. Однако они остаются универсальными моделями и не обладают персонализированными знаниями о конкретных концепциях пользователей. Предыдущие работы исследовали персонализацию для генерации текста, но до сих пор неясно, как эти методы можно адаптировать к новым модальностям, таким как генерация изображений. В данной статье мы представляем Yo'Chameleon — первую попытку изучить персонализацию для крупных мультимодальных моделей. Получив 3–5 изображений конкретной концепции, Yo'Chameleon использует настройку мягких подсказок (soft-prompt tuning) для встраивания информации, специфичной для объекта, чтобы (i) отвечать на вопросы о нем и (ii) воссоздавать детали на уровне пикселей для генерации изображений объекта в новых контекстах. Yo'Chameleon обучается с использованием (i) механизма оптимизации с самоподсказкой для балансировки производительности в нескольких модальностях и (ii) подхода генерации изображений с «мягким позитивом» (soft-positive) для повышения качества изображений в условиях ограниченного количества примеров.

English

Large Multimodal Models (e.g., GPT-4, Gemini, Chameleon) have evolved into powerful tools with millions of users. However, they remain generic models and lack personalized knowledge of specific user concepts. Previous work has explored personalization for text generation, yet it remains unclear how these methods can be adapted to new modalities, such as image generation. In this paper, we introduce Yo'Chameleon, the first attempt to study personalization for large multimodal models. Given 3-5 images of a particular concept, Yo'Chameleon leverages soft-prompt tuning to embed subject-specific information to (i) answer questions about the subject and (ii) recreate pixel-level details to produce images of the subject in new contexts. Yo'Chameleon is trained with (i) a self-prompting optimization mechanism to balance performance across multiple modalities, and (ii) a ``soft-positive" image generation approach to enhance image quality in a few-shot setting.