TokenVerse：トークン変調における多目的パーソナライゼーションの柔軟性

TokenVerse: Versatile Multi-concept Personalization in Token Modulation Space

January 21, 2025

著者: Daniel Garibi, Shahar Yadin, Roni Paiss, Omer Tov, Shiran Zada, Ariel Ephrat, Tomer Michaeli, Inbar Mosseri, Tali Dekel

cs.AI

要旨

私たちは、事前にトレーニングされたテキストから画像への拡散モデルを活用した、マルチコンセプトのパーソナライゼーション手法であるTokenVerseを提案します。当フレームワークは、1枚の画像から複雑な視覚要素や属性を分離し、複数の画像から抽出された複数のコンセプトの組み合わせをシームレスに生成することが可能です。既存の研究とは異なり、TokenVerseは複数の画像とそれぞれの複数のコンセプトを処理でき、オブジェクト、アクセサリー、素材、ポーズ、照明など幅広いコンセプトをサポートします。当研究では、入力テキストが生成に注意と変調（シフトとスケール）の両方を介して影響を与えるDiTベースのテキストから画像へのモデルを活用しています。変調空間が意味論的であり、複雑なコンセプトに対して局所的な制御を可能にします。この洞察を基に、画像とテキストの説明を入力とし、各単語に対して変調空間内の異なる方向を見つける最適化ベースのフレームワークを考案しました。これらの方向は、学習されたコンセプトを所望の構成で組み合わせた新しい画像を生成するために使用できます。TokenVerseの効果を、困難なパーソナライゼーション設定で実証し、既存の手法に対する利点を紹介しています。プロジェクトのウェブページはhttps://token-verse.github.io/ にあります。

English

We present TokenVerse -- a method for multi-concept personalization, leveraging a pre-trained text-to-image diffusion model. Our framework can disentangle complex visual elements and attributes from as little as a single image, while enabling seamless plug-and-play generation of combinations of concepts extracted from multiple images. As opposed to existing works, TokenVerse can handle multiple images with multiple concepts each, and supports a wide-range of concepts, including objects, accessories, materials, pose, and lighting. Our work exploits a DiT-based text-to-image model, in which the input text affects the generation through both attention and modulation (shift and scale). We observe that the modulation space is semantic and enables localized control over complex concepts. Building on this insight, we devise an optimization-based framework that takes as input an image and a text description, and finds for each word a distinct direction in the modulation space. These directions can then be used to generate new images that combine the learned concepts in a desired configuration. We demonstrate the effectiveness of TokenVerse in challenging personalization settings, and showcase its advantages over existing methods. project's webpage in https://token-verse.github.io/