PartCraft: Creatieve Objecten Maken op Basis van Onderdelen

PartCraft: Crafting Creative Objects by Parts

July 5, 2024

Auteurs: Kam Woh Ng, Xiatian Zhu, Yi-Zhe Song, Tao Xiang

cs.AI

Samenvatting

Dit artikel bevordert creatieve controle in generatieve visuele AI door gebruikers in staat te stellen te "selecteren". Afwijkend van traditionele tekst- of schetsgebaseerde methoden, stellen we gebruikers voor het eerst in staat om visuele concepten per onderdeel te kiezen voor hun creatieve inspanningen. Het resultaat is een fijnmazige generatie die geselecteerde visuele concepten nauwkeurig vastlegt, wat zorgt voor een holistisch getrouw en plausibel resultaat. Om dit te bereiken, ontleden we eerst objecten in onderdelen via ongecontroleerde feature clustering. Vervolgens coderen we de onderdelen in teksttokens en introduceren we een entropie-gebaseerd genormaliseerd aandachtverlies dat hierop werkt. Dit verliesontwerp stelt ons model in staat om generieke topologische kennis over de samenstelling van objectonderdelen te leren, en verder te generaliseren naar nieuwe onderdeelsamenstellingen om ervoor te zorgen dat de generatie er holistisch getrouw uitziet. Ten slotte gebruiken we een bottleneck-encoder om de onderdeeltokens te projecteren. Dit verbetert niet alleen de getrouwheid, maar versnelt ook het leren door gedeelde kennis te benutten en informatie-uitwisseling tussen instanties te vergemakkelijken. Visuele resultaten in het artikel en het aanvullende materiaal tonen de overtuigende kracht van PartCraft in het maken van zeer gepersonaliseerde, innovatieve creaties, geïllustreerd door de "charmante" en creatieve vogels. De code is vrijgegeven op https://github.com/kamwoh/partcraft.

English

This paper propels creative control in generative visual AI by allowing users to "select". Departing from traditional text or sketch-based methods, we for the first time allow users to choose visual concepts by parts for their creative endeavors. The outcome is fine-grained generation that precisely captures selected visual concepts, ensuring a holistically faithful and plausible result. To achieve this, we first parse objects into parts through unsupervised feature clustering. Then, we encode parts into text tokens and introduce an entropy-based normalized attention loss that operates on them. This loss design enables our model to learn generic prior topology knowledge about object's part composition, and further generalize to novel part compositions to ensure the generation looks holistically faithful. Lastly, we employ a bottleneck encoder to project the part tokens. This not only enhances fidelity but also accelerates learning, by leveraging shared knowledge and facilitating information exchange among instances. Visual results in the paper and supplementary material showcase the compelling power of PartCraft in crafting highly customized, innovative creations, exemplified by the "charming" and creative birds. Code is released at https://github.com/kamwoh/partcraft.