微分可能なブロックワールド：プリミティブのレンダリングによる定性的3D分解

Differentiable Blocks World: Qualitative 3D Decomposition by Rendering Primitives

July 11, 2023

著者: Tom Monnier, Jake Austin, Angjoo Kanazawa, Alexei A. Efros, Mathieu Aubry

cs.AI

要旨

キャリブレーションされたシーンの画像セットが与えられた場合、本手法は3Dプリミティブを用いて、シンプルでコンパクトかつ実用的な3D世界表現を生成する。多くの手法が高精細な3Dシーンの復元に焦点を当てる中、我々はシーンを少数のテクスチャ付きプリミティブからなる中レベルの3D表現に解析することに注力する。このような表現は解釈が容易で、操作が簡単であり、物理ベースのシミュレーションに適している。さらに、3D入力データに依存する既存のプリミティブ分解手法とは異なり、本手法は微分可能レンダリングを通じて直接画像上で動作する。具体的には、プリミティブをテクスチャ付き超二次曲面メッシュとしてモデル化し、画像レンダリング損失を用いてそのパラメータをゼロから最適化する。各プリミティブの透明度をモデル化することが最適化において重要であり、また可変数のプリミティブを扱うことを可能にすることを強調する。結果として得られるテクスチャ付きプリミティブは、入力画像を忠実に再構築し、可視の3D点を正確にモデル化すると同時に、見えない物体領域のアモーダル形状補完を提供する。DTUの多様なシーンにおいて、本手法を最先端の手法と比較し、BlendedMVSとNerfstudioからの実写キャプチャに対する頑健性を実証する。また、本手法の結果を用いてシーンを容易に編集したり、物理シミュレーションを実行したりする方法を示す。コードとビデオ結果はhttps://www.tmonnier.com/DBWで公開されている。

English

Given a set of calibrated images of a scene, we present an approach that produces a simple, compact, and actionable 3D world representation by means of 3D primitives. While many approaches focus on recovering high-fidelity 3D scenes, we focus on parsing a scene into mid-level 3D representations made of a small set of textured primitives. Such representations are interpretable, easy to manipulate and suited for physics-based simulations. Moreover, unlike existing primitive decomposition methods that rely on 3D input data, our approach operates directly on images through differentiable rendering. Specifically, we model primitives as textured superquadric meshes and optimize their parameters from scratch with an image rendering loss. We highlight the importance of modeling transparency for each primitive, which is critical for optimization and also enables handling varying numbers of primitives. We show that the resulting textured primitives faithfully reconstruct the input images and accurately model the visible 3D points, while providing amodal shape completions of unseen object regions. We compare our approach to the state of the art on diverse scenes from DTU, and demonstrate its robustness on real-life captures from BlendedMVS and Nerfstudio. We also showcase how our results can be used to effortlessly edit a scene or perform physical simulations. Code and video results are available at https://www.tmonnier.com/DBW .