PartCraft: パーツによる創造的オブジェクトの制作

PartCraft: Crafting Creative Objects by Parts

July 5, 2024

著者: Kam Woh Ng, Xiatian Zhu, Yi-Zhe Song, Tao Xiang

cs.AI

要旨

本論文は、ユーザーが「選択」することで生成視覚AIにおける創造的制御を推進する。従来のテキストやスケッチベースの手法から離れ、我々は初めてユーザーが視覚概念をパーツ単位で選択し、創造的な取り組みを行うことを可能にする。その結果、選択された視覚概念を正確に捉えた細粒度の生成が実現され、全体的に忠実で説得力のある結果が保証される。これを実現するために、まずオブジェクトを教師なし特徴クラスタリングによってパーツに分解する。次に、パーツをテキストトークンにエンコードし、それらに対してエントロピーベースの正規化アテンション損失を導入する。この損失設計により、モデルはオブジェクトのパーツ構成に関する一般的な事前トポロジー知識を学習し、さらに新しいパーツ構成に一般化して、生成が全体的に忠実に見えることを保証する。最後に、ボトルネックエンコーダを使用してパーストークンを投影する。これにより、共有知識を活用し、インスタンス間の情報交換を促進することで、忠実度が向上し、学習が加速される。論文と補足資料に掲載された視覚結果は、PartCraftが「魅力的」で創造的な鳥を例に、高度にカスタマイズされた革新的な創造物を制作する際の説得力のある力を示している。コードはhttps://github.com/kamwoh/partcraftで公開されている。

English

This paper propels creative control in generative visual AI by allowing users to "select". Departing from traditional text or sketch-based methods, we for the first time allow users to choose visual concepts by parts for their creative endeavors. The outcome is fine-grained generation that precisely captures selected visual concepts, ensuring a holistically faithful and plausible result. To achieve this, we first parse objects into parts through unsupervised feature clustering. Then, we encode parts into text tokens and introduce an entropy-based normalized attention loss that operates on them. This loss design enables our model to learn generic prior topology knowledge about object's part composition, and further generalize to novel part compositions to ensure the generation looks holistically faithful. Lastly, we employ a bottleneck encoder to project the part tokens. This not only enhances fidelity but also accelerates learning, by leveraging shared knowledge and facilitating information exchange among instances. Visual results in the paper and supplementary material showcase the compelling power of PartCraft in crafting highly customized, innovative creations, exemplified by the "charming" and creative birds. Code is released at https://github.com/kamwoh/partcraft.