Chirpy3D : Latents de Parties Continues pour la Génération Créative d'Oiseaux 3D

Chirpy3D: Continuous Part Latents for Creative 3D Bird Generation

January 7, 2025

Auteurs: Kam Woh Ng, Jing Yang, Jia Wei Sii, Jiankang Deng, Chee Seng Chan, Yi-Zhe Song, Tao Xiang, Xiatian Zhu

cs.AI

Résumé

Dans cet article, nous repoussons les limites de la génération 3D détaillée dans un territoire vraiment créatif. Les méthodes actuelles manquent soit de détails complexes, soit se contentent de reproduire des objets existants - nous permettons les deux. En élevant la compréhension détaillée en 2D en 3D à travers la diffusion multi-vues et la modélisation des parties latentes sous forme de distributions continues, nous débloquons la capacité de générer des parties entièrement nouvelles, mais plausibles, par interpolation et échantillonnage. Une perte de cohérence des caractéristiques auto-supervisée garantit en outre une génération stable de ces parties invisibles. Le résultat est le premier système capable de créer de nouveaux objets 3D avec des détails spécifiques à l'espèce qui transcendent les exemples existants. Bien que nous démontrions notre approche sur les oiseaux, le cadre sous-jacent s'étend au-delà des choses qui peuvent gazouiller ! Le code sera publié sur https://github.com/kamwoh/chirpy3d.

English

In this paper, we push the boundaries of fine-grained 3D generation into truly creative territory. Current methods either lack intricate details or simply mimic existing objects -- we enable both. By lifting 2D fine-grained understanding into 3D through multi-view diffusion and modeling part latents as continuous distributions, we unlock the ability to generate entirely new, yet plausible parts through interpolation and sampling. A self-supervised feature consistency loss further ensures stable generation of these unseen parts. The result is the first system capable of creating novel 3D objects with species-specific details that transcend existing examples. While we demonstrate our approach on birds, the underlying framework extends beyond things that can chirp! Code will be released at https://github.com/kamwoh/chirpy3d.