Mundo de Blocos Diferenciável: Decomposição Qualitativa 3D por Renderização de Primitivas

Differentiable Blocks World: Qualitative 3D Decomposition by Rendering Primitives

July 11, 2023

Autores: Tom Monnier, Jake Austin, Angjoo Kanazawa, Alexei A. Efros, Mathieu Aubry

cs.AI

Resumo

Dado um conjunto de imagens calibradas de uma cena, apresentamos uma abordagem que produz uma representação 3D do mundo simples, compacta e acionável por meio de primitivos 3D. Enquanto muitas abordagens se concentram em recuperar cenas 3D de alta fidelidade, nós nos concentramos em analisar uma cena em representações 3D de nível médio, compostas por um pequeno conjunto de primitivos texturizados. Tais representações são interpretáveis, fáceis de manipular e adequadas para simulações baseadas em física. Além disso, ao contrário dos métodos existentes de decomposição de primitivos que dependem de dados de entrada 3D, nossa abordagem opera diretamente em imagens por meio de renderização diferenciável. Especificamente, modelamos os primitivos como malhas de superquadric texturizadas e otimizamos seus parâmetros do zero com uma perda de renderização de imagem. Destacamos a importância de modelar a transparência para cada primitivo, o que é crucial para a otimização e também permite lidar com números variáveis de primitivos. Mostramos que os primitivos texturizados resultantes reconstroem fielmente as imagens de entrada e modelam com precisão os pontos 3D visíveis, ao mesmo tempo que fornecem completamentos de forma amodal de regiões de objetos não vistas. Comparamos nossa abordagem com o estado da arte em diversas cenas do DTU e demonstramos sua robustez em capturas da vida real do BlendedMVS e Nerfstudio. Também mostramos como nossos resultados podem ser usados para editar uma cena ou realizar simulações físicas com facilidade. Código e resultados em vídeo estão disponíveis em https://www.tmonnier.com/DBW.

English

Given a set of calibrated images of a scene, we present an approach that produces a simple, compact, and actionable 3D world representation by means of 3D primitives. While many approaches focus on recovering high-fidelity 3D scenes, we focus on parsing a scene into mid-level 3D representations made of a small set of textured primitives. Such representations are interpretable, easy to manipulate and suited for physics-based simulations. Moreover, unlike existing primitive decomposition methods that rely on 3D input data, our approach operates directly on images through differentiable rendering. Specifically, we model primitives as textured superquadric meshes and optimize their parameters from scratch with an image rendering loss. We highlight the importance of modeling transparency for each primitive, which is critical for optimization and also enables handling varying numbers of primitives. We show that the resulting textured primitives faithfully reconstruct the input images and accurately model the visible 3D points, while providing amodal shape completions of unseen object regions. We compare our approach to the state of the art on diverse scenes from DTU, and demonstrate its robustness on real-life captures from BlendedMVS and Nerfstudio. We also showcase how our results can be used to effortlessly edit a scene or perform physical simulations. Code and video results are available at https://www.tmonnier.com/DBW .