Chirpy3D: Continue Part Latents voor Creatieve 3D Vogelgeneratie

Samenvatting

In dit artikel verleggen we de grenzen van fijnmazige 3D-generatie naar echt creatief terrein. Huidige methoden missen ofwel gedetailleerde details of bootsen eenvoudig bestaande objecten na - wij maken beide mogelijk. Door 2D fijnmazig begrip naar 3D te tillen via multi-view diffusie en het modelleren van deel-latenten als continue verdelingen, ontgrendelen we de mogelijkheid om volledig nieuwe, maar toch geloofwaardige delen te genereren door interpolatie en monstername. Een zelfbegeleidende functieconsistentieverlies waarborgt verder een stabiele generatie van deze ongeziene delen. Het resultaat is het eerste systeem dat in staat is om nieuwe 3D-objecten te creëren met soortspecifieke details die de bestaande voorbeelden overstijgen. Hoewel we onze aanpak demonstreren op vogels, strekt het onderliggende raamwerk zich uit voorbij dingen die kunnen tjilpen! De code zal worden vrijgegeven op https://github.com/kamwoh/chirpy3d.

English

In this paper, we push the boundaries of fine-grained 3D generation into truly creative territory. Current methods either lack intricate details or simply mimic existing objects -- we enable both. By lifting 2D fine-grained understanding into 3D through multi-view diffusion and modeling part latents as continuous distributions, we unlock the ability to generate entirely new, yet plausible parts through interpolation and sampling. A self-supervised feature consistency loss further ensures stable generation of these unseen parts. The result is the first system capable of creating novel 3D objects with species-specific details that transcend existing examples. While we demonstrate our approach on birds, the underlying framework extends beyond things that can chirp! Code will be released at https://github.com/kamwoh/chirpy3d.

Chirpy3D: Continue Part Latents voor Creatieve 3D Vogelgeneratie

Chirpy3D: Continuous Part Latents for Creative 3D Bird Generation

Samenvatting

Summary

Support

Support