BlockFusion: 잠재적 트라이플레인 외삽을 활용한 확장 가능한 3D 장면 생성
BlockFusion: Expandable 3D Scene Generation using Latent Tri-plane Extrapolation
January 30, 2024
저자: Zhennan Wu, Yang Li, Han Yan, Taizhang Shang, Weixuan Sun, Senbo Wang, Ruikai Cui, Weizhe Liu, Hiroyuki Sato, Hongdong Li, Pan Ji
cs.AI
초록
우리는 3D 장면을 단위 블록으로 생성하고 새로운 블록을 원활하게 통합하여 장면을 확장하는 확산 기반 모델인 BlockFusion을 제안합니다. BlockFusion은 완전한 3D 장면 메시에서 무작위로 잘라낸 3D 블록 데이터셋을 사용하여 학습됩니다. 블록별 피팅을 통해 모든 학습 블록은 하이브리드 신경 필드로 변환됩니다: 기하학적 특징을 포함하는 트라이플레인과 이를 따라 부호 있는 거리 값을 디코딩하기 위한 다층 퍼셉트론(MLP)으로 구성됩니다. 변분 자동 인코더를 사용하여 트라이플레인을 잠재 트라이플레인 공간으로 압축하며, 이 공간에서 노이즈 제거 확산 과정이 수행됩니다. 잠재 표현에 확산을 적용함으로써 고품질이고 다양한 3D 장면 생성을 가능하게 합니다. 생성 과정에서 장면을 확장하기 위해서는 현재 장면과 겹치는 빈 블록을 추가하고 기존의 잠재 트라이플레인을 외삽하여 새로운 블록을 채우면 됩니다. 외삽은 노이즈 제거 반복 동안 겹치는 트라이플레인에서 추출한 특징 샘플을 조건으로 하여 생성 과정을 수행함으로써 이루어집니다. 잠재 트라이플레인 외삽은 기존 장면과 조화롭게 어우러지는 의미론적 및 기하학적으로 의미 있는 전환을 생성합니다. 2D 레이아웃 조건 메커니즘을 사용하여 장면 요소의 배치와 배열을 제어합니다. 실험 결과는 BlockFusion이 실내 및 실외 시나리오에서 전례 없이 고품질의 형태를 가진 다양하고 기하학적으로 일관된 무한대의 대규모 3D 장면을 생성할 수 있음을 보여줍니다.
English
We present BlockFusion, a diffusion-based model that generates 3D scenes as
unit blocks and seamlessly incorporates new blocks to extend the scene.
BlockFusion is trained using datasets of 3D blocks that are randomly cropped
from complete 3D scene meshes. Through per-block fitting, all training blocks
are converted into the hybrid neural fields: with a tri-plane containing the
geometry features, followed by a Multi-layer Perceptron (MLP) for decoding the
signed distance values. A variational auto-encoder is employed to compress the
tri-planes into the latent tri-plane space, on which the denoising diffusion
process is performed. Diffusion applied to the latent representations allows
for high-quality and diverse 3D scene generation. To expand a scene during
generation, one needs only to append empty blocks to overlap with the current
scene and extrapolate existing latent tri-planes to populate new blocks. The
extrapolation is done by conditioning the generation process with the feature
samples from the overlapping tri-planes during the denoising iterations. Latent
tri-plane extrapolation produces semantically and geometrically meaningful
transitions that harmoniously blend with the existing scene. A 2D layout
conditioning mechanism is used to control the placement and arrangement of
scene elements. Experimental results indicate that BlockFusion is capable of
generating diverse, geometrically consistent and unbounded large 3D scenes with
unprecedented high-quality shapes in both indoor and outdoor scenarios.