Автокодирующие латентные 3D-диффузионные модели

AutoDecoding Latent 3D Diffusion Models

July 7, 2023

Авторы: Evangelos Ntavelis, Aliaksandr Siarohin, Kyle Olszewski, Chaoyang Wang, Luc Van Gool, Sergey Tulyakov

cs.AI

Аннотация

Мы представляем новый подход к генерации статических и сочленённых 3D-ассетов, в основе которого лежит 3D-автодекодер. Фреймворк 3D-автодекодера кодирует свойства, извлечённые из целевого набора данных, в латентном пространстве, которое затем может быть декодировано в объёмное представление для рендеринга согласованных по виду внешнего вида и геометрии. Мы определяем подходящее промежуточное объёмное латентное пространство и вводим устойчивые операции нормализации и денормализации для обучения 3D-диффузии на основе 2D-изображений или монохромных видео жёстких или сочленённых объектов. Наш подход достаточно гибок, чтобы использовать либо существующую информацию о камере, либо вообще обходиться без неё, эффективно обучая её в процессе тренировки. Наши оценки показывают, что результаты генерации превосходят современные альтернативы на различных эталонных наборах данных и метриках, включая наборы данных многовидовых изображений синтетических объектов, реальные видео движущихся людей в естественных условиях и крупномасштабный набор данных реальных видео статических объектов.

English

We present a novel approach to the generation of static and articulated 3D assets that has a 3D autodecoder at its core. The 3D autodecoder framework embeds properties learned from the target dataset in the latent space, which can then be decoded into a volumetric representation for rendering view-consistent appearance and geometry. We then identify the appropriate intermediate volumetric latent space, and introduce robust normalization and de-normalization operations to learn a 3D diffusion from 2D images or monocular videos of rigid or articulated objects. Our approach is flexible enough to use either existing camera supervision or no camera information at all -- instead efficiently learning it during training. Our evaluations demonstrate that our generation results outperform state-of-the-art alternatives on various benchmark datasets and metrics, including multi-view image datasets of synthetic objects, real in-the-wild videos of moving people, and a large-scale, real video dataset of static objects.