PartCraft : Création d'objets créatifs par composants

PartCraft: Crafting Creative Objects by Parts

July 5, 2024

Auteurs: Kam Woh Ng, Xiatian Zhu, Yi-Zhe Song, Tao Xiang

cs.AI

Résumé

Cet article fait progresser le contrôle créatif dans l'IA générative visuelle en permettant aux utilisateurs de "sélectionner". S'écartant des méthodes traditionnelles basées sur le texte ou le croquis, nous permettons pour la première fois aux utilisateurs de choisir des concepts visuels par parties pour leurs projets créatifs. Le résultat est une génération fine qui capture précisément les concepts visuels sélectionnés, garantissant un résultat globalement fidèle et plausible. Pour y parvenir, nous décomposons d'abord les objets en parties grâce à un clustering de caractéristiques non supervisé. Ensuite, nous encodons les parties en tokens textuels et introduisons une perte d'attention normalisée basée sur l'entropie qui opère sur ces tokens. Cette conception de la perte permet à notre modèle d'apprendre des connaissances topologiques génériques sur la composition des parties d'un objet, et de généraliser à de nouvelles compositions de parties pour garantir que la génération semble globalement fidèle. Enfin, nous utilisons un encodeur à goulot d'étranglement pour projeter les tokens de parties. Cela améliore non seulement la fidélité, mais accélère également l'apprentissage, en exploitant les connaissances partagées et en facilitant l'échange d'informations entre les instances. Les résultats visuels dans l'article et le matériel supplémentaire démontrent la puissance convaincante de PartCraft dans la création d'œuvres hautement personnalisées et innovantes, illustrées par les oiseaux "charmants" et créatifs. Le code est disponible à l'adresse https://github.com/kamwoh/partcraft.

English

This paper propels creative control in generative visual AI by allowing users to "select". Departing from traditional text or sketch-based methods, we for the first time allow users to choose visual concepts by parts for their creative endeavors. The outcome is fine-grained generation that precisely captures selected visual concepts, ensuring a holistically faithful and plausible result. To achieve this, we first parse objects into parts through unsupervised feature clustering. Then, we encode parts into text tokens and introduce an entropy-based normalized attention loss that operates on them. This loss design enables our model to learn generic prior topology knowledge about object's part composition, and further generalize to novel part compositions to ensure the generation looks holistically faithful. Lastly, we employ a bottleneck encoder to project the part tokens. This not only enhances fidelity but also accelerates learning, by leveraging shared knowledge and facilitating information exchange among instances. Visual results in the paper and supplementary material showcase the compelling power of PartCraft in crafting highly customized, innovative creations, exemplified by the "charming" and creative birds. Code is released at https://github.com/kamwoh/partcraft.