Chirpy3D: Latentes de Partes Continuas para la Generación Creativa de Aves 3D

Chirpy3D: Continuous Part Latents for Creative 3D Bird Generation

January 7, 2025

Autores: Kam Woh Ng, Jing Yang, Jia Wei Sii, Jiankang Deng, Chee Seng Chan, Yi-Zhe Song, Tao Xiang, Xiatian Zhu

cs.AI

Resumen

En este documento, ampliamos los límites de la generación 3D detallada hacia un territorio verdaderamente creativo. Los métodos actuales carecen de detalles intrincados o simplemente imitan objetos existentes; nosotros permitimos ambos. Al elevar la comprensión detallada en 2D a 3D a través de la difusión multi-vista y modelando latentes de partes como distribuciones continuas, desbloqueamos la capacidad de generar partes completamente nuevas, pero plausibles, a través de la interpolación y el muestreo. Una pérdida de consistencia de características auto-supervisada garantiza además la generación estable de estas partes no vistas. El resultado es el primer sistema capaz de crear objetos 3D novedosos con detalles específicos de especies que trascienden los ejemplos existentes. Aunque demostramos nuestro enfoque en aves, el marco subyacente se extiende más allá de las cosas que pueden piar. El código estará disponible en https://github.com/kamwoh/chirpy3d.

English

In this paper, we push the boundaries of fine-grained 3D generation into truly creative territory. Current methods either lack intricate details or simply mimic existing objects -- we enable both. By lifting 2D fine-grained understanding into 3D through multi-view diffusion and modeling part latents as continuous distributions, we unlock the ability to generate entirely new, yet plausible parts through interpolation and sampling. A self-supervised feature consistency loss further ensures stable generation of these unseen parts. The result is the first system capable of creating novel 3D objects with species-specific details that transcend existing examples. While we demonstrate our approach on birds, the underlying framework extends beyond things that can chirp! Code will be released at https://github.com/kamwoh/chirpy3d.