Construção de Réplicas Interativas de Objetos Articulados Complexos através de Gaussian Splatting

Building Interactable Replicas of Complex Articulated Objects via Gaussian Splatting

February 26, 2025

Autores: Yu Liu, Baoxiong Jia, Ruijie Lu, Junfeng Ni, Song-Chun Zhu, Siyuan Huang

cs.AI

Resumo

Construir objetos articulados é um desafio fundamental em visão computacional. Métodos existentes frequentemente falham em integrar efetivamente informações entre diferentes estados do objeto, limitando a precisão da reconstrução de malhas de partes e modelagem de dinâmicas de partes, especialmente para objetos articulados complexos de várias partes. Apresentamos o ArtGS, uma abordagem inovadora que utiliza Gaussianas 3D como uma representação flexível e eficiente para lidar com esses problemas. Nosso método incorpora Gaussianas canônicas com inicialização e atualizações de baixo para alto nível para alinhar informações de partes articuladas entre diferentes estados do objeto, e emprega um módulo de modelagem de dinâmicas de partes inspirado em "skinning" para melhorar tanto a reconstrução de malhas de partes quanto a aprendizagem de articulação. Experimentos extensos em conjuntos de dados sintéticos e do mundo real, incluindo um novo benchmark para objetos complexos de várias partes, demonstram que o ArtGS alcança desempenho de ponta na estimativa de parâmetros conjuntos e na reconstrução de malhas de partes. Nossa abordagem melhora significativamente a qualidade e eficiência da reconstrução, especialmente para objetos articulados de várias partes. Além disso, fornecemos análises abrangentes de nossas escolhas de design, validando a eficácia de cada componente para destacar áreas potenciais de melhoria futura.

English

Building articulated objects is a key challenge in computer vision. Existing methods often fail to effectively integrate information across different object states, limiting the accuracy of part-mesh reconstruction and part dynamics modeling, particularly for complex multi-part articulated objects. We introduce ArtGS, a novel approach that leverages 3D Gaussians as a flexible and efficient representation to address these issues. Our method incorporates canonical Gaussians with coarse-to-fine initialization and updates for aligning articulated part information across different object states, and employs a skinning-inspired part dynamics modeling module to improve both part-mesh reconstruction and articulation learning. Extensive experiments on both synthetic and real-world datasets, including a new benchmark for complex multi-part objects, demonstrate that ArtGS achieves state-of-the-art performance in joint parameter estimation and part mesh reconstruction. Our approach significantly improves reconstruction quality and efficiency, especially for multi-part articulated objects. Additionally, we provide comprehensive analyses of our design choices, validating the effectiveness of each component to highlight potential areas for future improvement.