TokenVerse : Personnalisation polyvalente multi-conceptuelle dans l'espace de modulation de jetons

TokenVerse: Versatile Multi-concept Personalization in Token Modulation Space

January 21, 2025

Auteurs: Daniel Garibi, Shahar Yadin, Roni Paiss, Omer Tov, Shiran Zada, Ariel Ephrat, Tomer Michaeli, Inbar Mosseri, Tali Dekel

cs.AI

Résumé

Nous présentons TokenVerse - une méthode de personnalisation multi-concepts, exploitant un modèle de diffusion texte-image pré-entraîné. Notre cadre peut démêler des éléments visuels et des attributs complexes à partir d'une seule image, tout en permettant la génération plug-and-play sans heurt de combinaisons de concepts extraits de plusieurs images. Contrairement aux travaux existants, TokenVerse peut gérer plusieurs images avec plusieurs concepts chacune, et prend en charge une large gamme de concepts, y compris les objets, accessoires, matériaux, poses et éclairages. Notre travail exploite un modèle texte-image basé sur DiT, dans lequel le texte d'entrée influence la génération à la fois par l'attention et la modulation (décalage et échelle). Nous observons que l'espace de modulation est sémantique et permet un contrôle localisé sur des concepts complexes. En nous appuyant sur cette observation, nous concevons un cadre basé sur l'optimisation qui prend en entrée une image et une description textuelle, et trouve pour chaque mot une direction distincte dans l'espace de modulation. Ces directions peuvent ensuite être utilisées pour générer de nouvelles images combinant les concepts appris dans une configuration souhaitée. Nous démontrons l'efficacité de TokenVerse dans des paramètres de personnalisation complexes, et mettons en avant ses avantages par rapport aux méthodes existantes. Page web du projet : https://token-verse.github.io/

English

We present TokenVerse -- a method for multi-concept personalization, leveraging a pre-trained text-to-image diffusion model. Our framework can disentangle complex visual elements and attributes from as little as a single image, while enabling seamless plug-and-play generation of combinations of concepts extracted from multiple images. As opposed to existing works, TokenVerse can handle multiple images with multiple concepts each, and supports a wide-range of concepts, including objects, accessories, materials, pose, and lighting. Our work exploits a DiT-based text-to-image model, in which the input text affects the generation through both attention and modulation (shift and scale). We observe that the modulation space is semantic and enables localized control over complex concepts. Building on this insight, we devise an optimization-based framework that takes as input an image and a text description, and finds for each word a distinct direction in the modulation space. These directions can then be used to generate new images that combine the learned concepts in a desired configuration. We demonstrate the effectiveness of TokenVerse in challenging personalization settings, and showcase its advantages over existing methods. project's webpage in https://token-verse.github.io/