Differentiable Blocks World: Qualitative 3D-Zerlegung durch das Rendern von Primitiven

Differentiable Blocks World: Qualitative 3D Decomposition by Rendering Primitives

July 11, 2023

Autoren: Tom Monnier, Jake Austin, Angjoo Kanazawa, Alexei A. Efros, Mathieu Aubry

cs.AI

Zusammenfassung

Gegeben eine Menge kalibrierter Bilder einer Szene, präsentieren wir einen Ansatz, der eine einfache, kompakte und handlungsfähige 3D-Weltrepräsentation mittels 3D-Primitiven erzeugt. Während viele Ansätze darauf abzielen, hochauflösende 3D-Szenen wiederherzustellen, konzentrieren wir uns darauf, eine Szene in mittelgroße 3D-Repräsentationen zu zerlegen, die aus einer kleinen Menge texturierter Primitiven bestehen. Solche Repräsentationen sind interpretierbar, leicht zu manipulieren und eignen sich für physikbasierte Simulationen. Darüber hinaus operiert unser Ansatz, im Gegensatz zu bestehenden Methoden zur Primitivzerlegung, die auf 3D-Eingabedaten angewiesen sind, direkt auf Bildern durch differenzierbares Rendering. Konkret modellieren wir Primitiven als texturierte Superquadrik-Meshes und optimieren ihre Parameter von Grund auf mit einem Bild-Rendering-Verlust. Wir betonen die Bedeutung der Modellierung von Transparenz für jedes Primitiv, die sowohl für die Optimierung entscheidend ist als auch die Handhabung einer variierenden Anzahl von Primitiven ermöglicht. Wir zeigen, dass die resultierenden texturierten Primitiven die Eingabebilder treu rekonstruieren und die sichtbaren 3D-Punkte genau modellieren, während sie gleichzeitig amodale Formergänzungen für nicht sichtbare Objektregionen liefern. Wir vergleichen unseren Ansatz mit dem Stand der Technik auf verschiedenen Szenen aus DTU und demonstrieren seine Robustheit bei realen Aufnahmen aus BlendedMVS und Nerfstudio. Wir zeigen auch, wie unsere Ergebnisse verwendet werden können, um eine Szene mühelos zu bearbeiten oder physikalische Simulationen durchzuführen. Code und Videoergebnisse sind verfügbar unter https://www.tmonnier.com/DBW.

English

Given a set of calibrated images of a scene, we present an approach that produces a simple, compact, and actionable 3D world representation by means of 3D primitives. While many approaches focus on recovering high-fidelity 3D scenes, we focus on parsing a scene into mid-level 3D representations made of a small set of textured primitives. Such representations are interpretable, easy to manipulate and suited for physics-based simulations. Moreover, unlike existing primitive decomposition methods that rely on 3D input data, our approach operates directly on images through differentiable rendering. Specifically, we model primitives as textured superquadric meshes and optimize their parameters from scratch with an image rendering loss. We highlight the importance of modeling transparency for each primitive, which is critical for optimization and also enables handling varying numbers of primitives. We show that the resulting textured primitives faithfully reconstruct the input images and accurately model the visible 3D points, while providing amodal shape completions of unseen object regions. We compare our approach to the state of the art on diverse scenes from DTU, and demonstrate its robustness on real-life captures from BlendedMVS and Nerfstudio. We also showcase how our results can be used to effortlessly edit a scene or perform physical simulations. Code and video results are available at https://www.tmonnier.com/DBW .