미분 가능 블록 월드: 기본 도형 렌더링을 통한 정성적 3D 분해

Differentiable Blocks World: Qualitative 3D Decomposition by Rendering Primitives

July 11, 2023

저자: Tom Monnier, Jake Austin, Angjoo Kanazawa, Alexei A. Efros, Mathieu Aubry

cs.AI

초록

하나의 장면에 대한 캘리브레이션된 이미지 세트가 주어졌을 때, 우리는 3D 프리미티브를 통해 단순하고 컴팩트하며 실행 가능한 3D 세계 표현을 생성하는 접근 방식을 제시한다. 많은 접근 방식이 고해상도 3D 장면 복원에 초점을 맞추는 반면, 우리는 장면을 소수의 텍스처가 적용된 프리미티브로 구성된 중간 수준의 3D 표현으로 파싱하는 데 초점을 맞춘다. 이러한 표현은 해석하기 쉽고, 조작이 간편하며, 물리 기반 시뮬레이션에 적합하다. 또한, 3D 입력 데이터에 의존하는 기존의 프리미티브 분해 방법과 달리, 우리의 접근 방식은 미분 가능 렌더링을 통해 이미지에서 직접 작동한다. 구체적으로, 우리는 프리미티브를 텍스처가 적용된 슈퍼쿼드릭 메시로 모델링하고, 이미지 렌더링 손실을 통해 처음부터 그 매개변수를 최적화한다. 우리는 각 프리미티브에 대한 투명도 모델링의 중요성을 강조하며, 이는 최적화에 중요할 뿐만 아니라 다양한 수의 프리미티브를 처리할 수 있게 한다. 결과적으로 생성된 텍스처가 적용된 프리미티브는 입력 이미지를 충실하게 재구성하고, 보이는 3D 점을 정확하게 모델링하며, 보이지 않는 객체 영역에 대한 모양 완성을 제공한다. 우리는 DTU의 다양한 장면에서 최신 기술과 우리의 접근 방식을 비교하고, BlendedMVS와 Nerfstudio의 실제 캡처에서의 견고성을 입증한다. 또한, 우리의 결과를 사용하여 장면을 쉽게 편집하거나 물리적 시뮬레이션을 수행할 수 있는 방법을 보여준다. 코드와 비디오 결과는 https://www.tmonnier.com/DBW에서 확인할 수 있다.

English

Given a set of calibrated images of a scene, we present an approach that produces a simple, compact, and actionable 3D world representation by means of 3D primitives. While many approaches focus on recovering high-fidelity 3D scenes, we focus on parsing a scene into mid-level 3D representations made of a small set of textured primitives. Such representations are interpretable, easy to manipulate and suited for physics-based simulations. Moreover, unlike existing primitive decomposition methods that rely on 3D input data, our approach operates directly on images through differentiable rendering. Specifically, we model primitives as textured superquadric meshes and optimize their parameters from scratch with an image rendering loss. We highlight the importance of modeling transparency for each primitive, which is critical for optimization and also enables handling varying numbers of primitives. We show that the resulting textured primitives faithfully reconstruct the input images and accurately model the visible 3D points, while providing amodal shape completions of unseen object regions. We compare our approach to the state of the art on diverse scenes from DTU, and demonstrate its robustness on real-life captures from BlendedMVS and Nerfstudio. We also showcase how our results can be used to effortlessly edit a scene or perform physical simulations. Code and video results are available at https://www.tmonnier.com/DBW .