Differentiable Blocks World: Scomposizione Qualitativa 3D mediante Rendering di Primitivi

Differentiable Blocks World: Qualitative 3D Decomposition by Rendering Primitives

July 11, 2023

Autori: Tom Monnier, Jake Austin, Angjoo Kanazawa, Alexei A. Efros, Mathieu Aubry

cs.AI

Abstract

Dato un insieme di immagini calibrate di una scena, presentiamo un approccio che produce una rappresentazione 3D del mondo semplice, compatta e azionabile mediante l'uso di primitive 3D. Mentre molti approcci si concentrano sul recupero di scene 3D ad alta fedeltà, noi ci focalizziamo sull'analisi di una scena in rappresentazioni 3D di medio livello composte da un piccolo insieme di primitive testurate. Tali rappresentazioni sono interpretabili, facili da manipolare e adatte per simulazioni basate sulla fisica. Inoltre, a differenza dei metodi esistenti di decomposizione in primitive che si basano su dati di input 3D, il nostro approccio opera direttamente sulle immagini attraverso il rendering differenziabile. Nello specifico, modelliamo le primitive come mesh superquadriche testurate e ottimizziamo i loro parametri da zero con una funzione di perdita basata sul rendering delle immagini. Sottolineiamo l'importanza di modellare la trasparenza per ogni primitiva, che è cruciale per l'ottimizzazione e consente anche di gestire un numero variabile di primitive. Dimostriamo che le primitive testurate risultanti ricostruiscono fedelmente le immagini di input e modellano accuratamente i punti 3D visibili, fornendo al contempo completamenti di forma amodale per le regioni degli oggetti non visibili. Confrontiamo il nostro approccio con lo stato dell'arte su diverse scene del dataset DTU e ne dimostriamo la robustezza su acquisizioni reali da BlendedMVS e Nerfstudio. Mostriamo inoltre come i nostri risultati possano essere utilizzati per modificare una scena con facilità o eseguire simulazioni fisiche. Codice e risultati video sono disponibili al seguente link: https://www.tmonnier.com/DBW.

English

Given a set of calibrated images of a scene, we present an approach that produces a simple, compact, and actionable 3D world representation by means of 3D primitives. While many approaches focus on recovering high-fidelity 3D scenes, we focus on parsing a scene into mid-level 3D representations made of a small set of textured primitives. Such representations are interpretable, easy to manipulate and suited for physics-based simulations. Moreover, unlike existing primitive decomposition methods that rely on 3D input data, our approach operates directly on images through differentiable rendering. Specifically, we model primitives as textured superquadric meshes and optimize their parameters from scratch with an image rendering loss. We highlight the importance of modeling transparency for each primitive, which is critical for optimization and also enables handling varying numbers of primitives. We show that the resulting textured primitives faithfully reconstruct the input images and accurately model the visible 3D points, while providing amodal shape completions of unseen object regions. We compare our approach to the state of the art on diverse scenes from DTU, and demonstrate its robustness on real-life captures from BlendedMVS and Nerfstudio. We also showcase how our results can be used to effortlessly edit a scene or perform physical simulations. Code and video results are available at https://www.tmonnier.com/DBW .