Chirpy3D: Kontinuierliche Teil-Latenzen für kreative 3D-Vogelgenerierung

Chirpy3D: Continuous Part Latents for Creative 3D Bird Generation

January 7, 2025

Autoren: Kam Woh Ng, Jing Yang, Jia Wei Sii, Jiankang Deng, Chee Seng Chan, Yi-Zhe Song, Tao Xiang, Xiatian Zhu

cs.AI

Zusammenfassung

In diesem Paper erweitern wir die Grenzen der feinkörnigen 3D-Generierung in wirklich kreatives Terrain. Aktuelle Methoden fehlen entweder raffinierte Details oder ahmen einfach vorhandene Objekte nach - wir ermöglichen beides. Indem wir das 2D-feinkörnige Verständnis in 3D durch Multi-View-Diffusion anheben und Part-Latenzen als kontinuierliche Verteilungen modellieren, entsperren wir die Fähigkeit, völlig neue, aber plausible Teile durch Interpolation und Sampling zu generieren. Ein selbstüberwachter Feature-Konsistenzverlust gewährleistet zudem eine stabile Generierung dieser unerforschten Teile. Das Ergebnis ist das erste System, das in der Lage ist, neuartige 3D-Objekte mit artenspezifischen Details zu erstellen, die über bestehende Beispiele hinausgehen. Während wir unseren Ansatz an Vögeln demonstrieren, erstreckt sich der zugrunde liegende Rahmen über Dinge hinaus, die zwitschern können! Der Code wird unter https://github.com/kamwoh/chirpy3d veröffentlicht.

English

In this paper, we push the boundaries of fine-grained 3D generation into truly creative territory. Current methods either lack intricate details or simply mimic existing objects -- we enable both. By lifting 2D fine-grained understanding into 3D through multi-view diffusion and modeling part latents as continuous distributions, we unlock the ability to generate entirely new, yet plausible parts through interpolation and sampling. A self-supervised feature consistency loss further ensures stable generation of these unseen parts. The result is the first system capable of creating novel 3D objects with species-specific details that transcend existing examples. While we demonstrate our approach on birds, the underlying framework extends beyond things that can chirp! Code will be released at https://github.com/kamwoh/chirpy3d.