TokenVerse: Personalização Versátil de Múltiplos Conceitos no Espaço de Modulação de Tokens

TokenVerse: Versatile Multi-concept Personalization in Token Modulation Space

January 21, 2025

Autores: Daniel Garibi, Shahar Yadin, Roni Paiss, Omer Tov, Shiran Zada, Ariel Ephrat, Tomer Michaeli, Inbar Mosseri, Tali Dekel

cs.AI

Resumo

Apresentamos o TokenVerse - um método para personalização multi-conceitual, aproveitando um modelo de difusão pré-treinado de texto para imagem. Nosso framework pode separar elementos visuais e atributos complexos a partir de apenas uma imagem, permitindo a geração fácil e flexível de combinações de conceitos extraídos de múltiplas imagens. Ao contrário de trabalhos existentes, o TokenVerse pode lidar com múltiplas imagens contendo múltiplos conceitos cada, e suporta uma ampla gama de conceitos, incluindo objetos, acessórios, materiais, pose e iluminação. Nosso trabalho explora um modelo de texto para imagem baseado em DiT, no qual o texto de entrada afeta a geração por meio de atenção e modulação (deslocamento e escala). Observamos que o espaço de modulação é semântico e possibilita controle localizado sobre conceitos complexos. Com base nessa percepção, desenvolvemos um framework baseado em otimização que, ao receber como entrada uma imagem e uma descrição de texto, encontra para cada palavra uma direção distinta no espaço de modulação. Essas direções podem então ser usadas para gerar novas imagens que combinam os conceitos aprendidos em uma configuração desejada. Demonstramos a eficácia do TokenVerse em cenários desafiadores de personalização, e destacamos suas vantagens sobre métodos existentes. Página do projeto em https://token-verse.github.io/

English

We present TokenVerse -- a method for multi-concept personalization, leveraging a pre-trained text-to-image diffusion model. Our framework can disentangle complex visual elements and attributes from as little as a single image, while enabling seamless plug-and-play generation of combinations of concepts extracted from multiple images. As opposed to existing works, TokenVerse can handle multiple images with multiple concepts each, and supports a wide-range of concepts, including objects, accessories, materials, pose, and lighting. Our work exploits a DiT-based text-to-image model, in which the input text affects the generation through both attention and modulation (shift and scale). We observe that the modulation space is semantic and enables localized control over complex concepts. Building on this insight, we devise an optimization-based framework that takes as input an image and a text description, and finds for each word a distinct direction in the modulation space. These directions can then be used to generate new images that combine the learned concepts in a desired configuration. We demonstrate the effectiveness of TokenVerse in challenging personalization settings, and showcase its advantages over existing methods. project's webpage in https://token-verse.github.io/