Costruzione di repliche interattive di oggetti articolati complessi tramite Gaussian Splatting

Building Interactable Replicas of Complex Articulated Objects via Gaussian Splatting

February 26, 2025

Autori: Yu Liu, Baoxiong Jia, Ruijie Lu, Junfeng Ni, Song-Chun Zhu, Siyuan Huang

cs.AI

Abstract

La costruzione di oggetti articolati rappresenta una sfida chiave nel campo della visione artificiale. I metodi esistenti spesso non riescono a integrare efficacemente le informazioni tra i diversi stati degli oggetti, limitando l'accuratezza della ricostruzione delle mesh delle parti e della modellazione delle dinamiche delle parti, specialmente per oggetti articolati complessi con più componenti. Introduciamo ArtGS, un approccio innovativo che sfrutta i Gaussian 3D come rappresentazione flessibile ed efficiente per affrontare queste problematiche. Il nostro metodo incorpora Gaussian canonici con un'inizializzazione e un aggiornamento da grossolano a fine per allineare le informazioni delle parti articolate tra diversi stati dell'oggetto, e utilizza un modulo di modellazione delle dinamiche delle parti ispirato allo skinning per migliorare sia la ricostruzione delle mesh delle parti che l'apprendimento dell'articolazione. Esperimenti estesi su dataset sia sintetici che reali, inclusa una nuova benchmark per oggetti complessi con più componenti, dimostrano che ArtGS raggiunge prestazioni all'avanguardia nella stima congiunta dei parametri e nella ricostruzione delle mesh delle parti. Il nostro approccio migliora significativamente la qualità e l'efficienza della ricostruzione, specialmente per oggetti articolati con più componenti. Inoltre, forniamo analisi approfondite delle nostre scelte progettuali, validando l'efficacia di ciascun componente per evidenziare potenziali aree di miglioramento futuro.

English

Building articulated objects is a key challenge in computer vision. Existing methods often fail to effectively integrate information across different object states, limiting the accuracy of part-mesh reconstruction and part dynamics modeling, particularly for complex multi-part articulated objects. We introduce ArtGS, a novel approach that leverages 3D Gaussians as a flexible and efficient representation to address these issues. Our method incorporates canonical Gaussians with coarse-to-fine initialization and updates for aligning articulated part information across different object states, and employs a skinning-inspired part dynamics modeling module to improve both part-mesh reconstruction and articulation learning. Extensive experiments on both synthetic and real-world datasets, including a new benchmark for complex multi-part objects, demonstrate that ArtGS achieves state-of-the-art performance in joint parameter estimation and part mesh reconstruction. Our approach significantly improves reconstruction quality and efficiency, especially for multi-part articulated objects. Additionally, we provide comprehensive analyses of our design choices, validating the effectiveness of each component to highlight potential areas for future improvement.