Chirpy3D: Непрерывные Части Латентов для Творческой Генерации 3D Птиц.

Chirpy3D: Continuous Part Latents for Creative 3D Bird Generation

January 7, 2025

Авторы: Kam Woh Ng, Jing Yang, Jia Wei Sii, Jiankang Deng, Chee Seng Chan, Yi-Zhe Song, Tao Xiang, Xiatian Zhu

cs.AI

Аннотация

В данной статье мы расширяем границы создания трехмерных изображений с тонкой детализацией в поистине творческую область. Существующие методы либо лишены сложных деталей, либо просто имитируют существующие объекты — мы же позволяем обеим вариантам. Подняв понимание тонкой детализации с двумерного уровня на трехмерный с помощью многозрительной диффузии и моделирования частей как непрерывных распределений, мы разблокируем возможность создания совершенно новых, но правдоподобных частей путем интерполяции и выборки. Потеря самонаблюдения при согласовании признаков дополнительно обеспечивает стабильное создание этих невидимых частей. Результатом стало первое система, способная создавать новые трехмерные объекты с деталями, характерными для определенных видов, которые превосходят существующие примеры. Хотя мы продемонстрировали наш подход на птицах, базовая структура распространяется за пределы того, что может щебетать! Код будет опубликован по адресу https://github.com/kamwoh/chirpy3d.

English

In this paper, we push the boundaries of fine-grained 3D generation into truly creative territory. Current methods either lack intricate details or simply mimic existing objects -- we enable both. By lifting 2D fine-grained understanding into 3D through multi-view diffusion and modeling part latents as continuous distributions, we unlock the ability to generate entirely new, yet plausible parts through interpolation and sampling. A self-supervised feature consistency loss further ensures stable generation of these unseen parts. The result is the first system capable of creating novel 3D objects with species-specific details that transcend existing examples. While we demonstrate our approach on birds, the underlying framework extends beyond things that can chirp! Code will be released at https://github.com/kamwoh/chirpy3d.