TokenVerse: Personalización versátil de múltiples conceptos en el espacio de modulación de tokens

TokenVerse: Versatile Multi-concept Personalization in Token Modulation Space

January 21, 2025

Autores: Daniel Garibi, Shahar Yadin, Roni Paiss, Omer Tov, Shiran Zada, Ariel Ephrat, Tomer Michaeli, Inbar Mosseri, Tali Dekel

cs.AI

Resumen

Presentamos TokenVerse, un método para personalización multi-concepto que aprovecha un modelo de difusión pre-entrenado de texto a imagen. Nuestro marco puede desentrañar elementos visuales y atributos complejos a partir de tan solo una imagen, al tiempo que permite la generación plug-and-play sin problemas de combinaciones de conceptos extraídos de múltiples imágenes. A diferencia de trabajos existentes, TokenVerse puede manejar múltiples imágenes con múltiples conceptos cada una, y soporta una amplia gama de conceptos, incluyendo objetos, accesorios, materiales, pose e iluminación. Nuestro trabajo explota un modelo de texto a imagen basado en DiT, en el cual el texto de entrada afecta la generación a través de la atención y la modulación (desplazamiento y escala). Observamos que el espacio de modulación es semántico y permite un control localizado sobre conceptos complejos. Basándonos en esta percepción, diseñamos un marco basado en optimización que toma como entrada una imagen y una descripción de texto, y encuentra para cada palabra una dirección distinta en el espacio de modulación. Estas direcciones pueden luego ser utilizadas para generar nuevas imágenes que combinen los conceptos aprendidos en una configuración deseada. Demostramos la efectividad de TokenVerse en entornos desafiantes de personalización, y destacamos sus ventajas sobre métodos existentes. Página web del proyecto en https://token-verse.github.io/

English

We present TokenVerse -- a method for multi-concept personalization, leveraging a pre-trained text-to-image diffusion model. Our framework can disentangle complex visual elements and attributes from as little as a single image, while enabling seamless plug-and-play generation of combinations of concepts extracted from multiple images. As opposed to existing works, TokenVerse can handle multiple images with multiple concepts each, and supports a wide-range of concepts, including objects, accessories, materials, pose, and lighting. Our work exploits a DiT-based text-to-image model, in which the input text affects the generation through both attention and modulation (shift and scale). We observe that the modulation space is semantic and enables localized control over complex concepts. Building on this insight, we devise an optimization-based framework that takes as input an image and a text description, and finds for each word a distinct direction in the modulation space. These directions can then be used to generate new images that combine the learned concepts in a desired configuration. We demonstrate the effectiveness of TokenVerse in challenging personalization settings, and showcase its advantages over existing methods. project's webpage in https://token-verse.github.io/