TokenVerse: Personalizzazione multi-concetto versatile nello spazio di modulazione dei token

TokenVerse: Versatile Multi-concept Personalization in Token Modulation Space

January 21, 2025

Autori: Daniel Garibi, Shahar Yadin, Roni Paiss, Omer Tov, Shiran Zada, Ariel Ephrat, Tomer Michaeli, Inbar Mosseri, Tali Dekel

cs.AI

Abstract

Presentiamo TokenVerse, un metodo per la personalizzazione multi-concetto, sfruttando un modello di diffusione testo-immagine pre-addestrato. Il nostro framework è in grado di separare elementi visivi complessi e attributi da anche una singola immagine, consentendo al contempo la generazione fluida di combinazioni di concetti estratti da più immagini. A differenza dei lavori esistenti, TokenVerse può gestire più immagini con diversi concetti ciascuna e supporta una vasta gamma di concetti, tra cui oggetti, accessori, materiali, posa e illuminazione. Il nostro lavoro sfrutta un modello testo-immagine basato su DiT, in cui il testo in input influisce sulla generazione attraverso sia l'attenzione che la modulazione (spostamento e scala). Osserviamo che lo spazio di modulazione è semantico e consente un controllo localizzato su concetti complessi. Sfruttando questa intuizione, progettiamo un framework basato sull'ottimizzazione che prende in input un'immagine e una descrizione testuale, e trova per ciascuna parola una direzione distinta nello spazio di modulazione. Queste direzioni possono quindi essere utilizzate per generare nuove immagini che combinano i concetti appresi in una configurazione desiderata. Dimostriamo l'efficacia di TokenVerse in contesti di personalizzazione sfidanti e mettiamo in mostra i suoi vantaggi rispetto ai metodi esistenti. La pagina web del progetto è disponibile su https://token-verse.github.io/

English

We present TokenVerse -- a method for multi-concept personalization, leveraging a pre-trained text-to-image diffusion model. Our framework can disentangle complex visual elements and attributes from as little as a single image, while enabling seamless plug-and-play generation of combinations of concepts extracted from multiple images. As opposed to existing works, TokenVerse can handle multiple images with multiple concepts each, and supports a wide-range of concepts, including objects, accessories, materials, pose, and lighting. Our work exploits a DiT-based text-to-image model, in which the input text affects the generation through both attention and modulation (shift and scale). We observe that the modulation space is semantic and enables localized control over complex concepts. Building on this insight, we devise an optimization-based framework that takes as input an image and a text description, and finds for each word a distinct direction in the modulation space. These directions can then be used to generate new images that combine the learned concepts in a desired configuration. We demonstrate the effectiveness of TokenVerse in challenging personalization settings, and showcase its advantages over existing methods. project's webpage in https://token-verse.github.io/