BlockFusion: Масштабируемая генерация 3D-сцен с использованием экстраполяции латентных три-плоскостей
BlockFusion: Expandable 3D Scene Generation using Latent Tri-plane Extrapolation
January 30, 2024
Авторы: Zhennan Wu, Yang Li, Han Yan, Taizhang Shang, Weixuan Sun, Senbo Wang, Ruikai Cui, Weizhe Liu, Hiroyuki Sato, Hongdong Li, Pan Ji
cs.AI
Аннотация
Мы представляем BlockFusion, модель на основе диффузии, которая генерирует 3D-сцены в виде блоков и бесшовно добавляет новые блоки для расширения сцены. BlockFusion обучается на наборах данных 3D-блоков, которые случайным образом вырезаются из полных 3D-сцен. С помощью подгонки на уровне блоков все обучающие блоки преобразуются в гибридные нейронные поля: с использованием три-плоскости, содержащей геометрические признаки, и последующего многослойного перцептрона (MLP) для декодирования значений знаковых расстояний. Вариационный автоэнкодер используется для сжатия три-плоскостей в латентное пространство три-плоскостей, на котором выполняется процесс денизинга диффузии. Применение диффузии к латентным представлениям позволяет генерировать высококачественные и разнообразные 3D-сцены. Для расширения сцены во время генерации достаточно добавить пустые блоки, которые перекрываются с текущей сценой, и экстраполировать существующие латентные три-плоскости для заполнения новых блоков. Экстраполяция выполняется путем условной генерации с использованием выборок признаков из перекрывающихся три-плоскостей во время итераций денизинга. Экстраполяция латентных три-плоскостей создает семантически и геометрически осмысленные переходы, которые гармонично сочетаются с существующей сценой. Механизм условного управления 2D-макетом используется для контроля размещения и компоновки элементов сцены. Экспериментальные результаты показывают, что BlockFusion способен генерировать разнообразные, геометрически согласованные и неограниченно большие 3D-сцены с беспрецедентно высококачественными формами как в интерьерных, так и в экстерьерных сценариях.
English
We present BlockFusion, a diffusion-based model that generates 3D scenes as
unit blocks and seamlessly incorporates new blocks to extend the scene.
BlockFusion is trained using datasets of 3D blocks that are randomly cropped
from complete 3D scene meshes. Through per-block fitting, all training blocks
are converted into the hybrid neural fields: with a tri-plane containing the
geometry features, followed by a Multi-layer Perceptron (MLP) for decoding the
signed distance values. A variational auto-encoder is employed to compress the
tri-planes into the latent tri-plane space, on which the denoising diffusion
process is performed. Diffusion applied to the latent representations allows
for high-quality and diverse 3D scene generation. To expand a scene during
generation, one needs only to append empty blocks to overlap with the current
scene and extrapolate existing latent tri-planes to populate new blocks. The
extrapolation is done by conditioning the generation process with the feature
samples from the overlapping tri-planes during the denoising iterations. Latent
tri-plane extrapolation produces semantically and geometrically meaningful
transitions that harmoniously blend with the existing scene. A 2D layout
conditioning mechanism is used to control the placement and arrangement of
scene elements. Experimental results indicate that BlockFusion is capable of
generating diverse, geometrically consistent and unbounded large 3D scenes with
unprecedented high-quality shapes in both indoor and outdoor scenarios.