Création de répliques interactives d'objets articulés complexes via le lissage gaussien

Building Interactable Replicas of Complex Articulated Objects via Gaussian Splatting

February 26, 2025

Auteurs: Yu Liu, Baoxiong Jia, Ruijie Lu, Junfeng Ni, Song-Chun Zhu, Siyuan Huang

cs.AI

Résumé

La construction d'objets articulés représente un défi majeur en vision par ordinateur. Les méthodes existantes échouent souvent à intégrer efficacement les informations entre différents états d'un objet, limitant ainsi la précision de la reconstruction des maillages de pièces et de la modélisation de leur dynamique, en particulier pour les objets articulés complexes à multiples pièces. Nous présentons ArtGS, une nouvelle approche qui exploite les Gaussiennes 3D comme représentation flexible et efficace pour résoudre ces problèmes. Notre méthode intègre des Gaussiennes canoniques avec une initialisation et des mises à jour de type grossier-à-fin pour aligner les informations des pièces articulées entre différents états de l'objet, et utilise un module de modélisation de la dynamique des pièces inspiré du skinning pour améliorer à la fois la reconstruction des maillages de pièces et l'apprentissage de l'articulation. Des expériences approfondies sur des ensembles de données synthétiques et réels, incluant un nouveau benchmark pour les objets complexes à multiples pièces, démontrent qu'ArtGS atteint des performances de pointe dans l'estimation conjointe des paramètres et la reconstruction des maillages de pièces. Notre approche améliore significativement la qualité et l'efficacité de la reconstruction, en particulier pour les objets articulés à multiples pièces. De plus, nous fournissons des analyses approfondies de nos choix de conception, validant l'efficacité de chaque composant et mettant en lumière des pistes potentielles pour des améliorations futures.

English

Building articulated objects is a key challenge in computer vision. Existing methods often fail to effectively integrate information across different object states, limiting the accuracy of part-mesh reconstruction and part dynamics modeling, particularly for complex multi-part articulated objects. We introduce ArtGS, a novel approach that leverages 3D Gaussians as a flexible and efficient representation to address these issues. Our method incorporates canonical Gaussians with coarse-to-fine initialization and updates for aligning articulated part information across different object states, and employs a skinning-inspired part dynamics modeling module to improve both part-mesh reconstruction and articulation learning. Extensive experiments on both synthetic and real-world datasets, including a new benchmark for complex multi-part objects, demonstrate that ArtGS achieves state-of-the-art performance in joint parameter estimation and part mesh reconstruction. Our approach significantly improves reconstruction quality and efficiency, especially for multi-part articulated objects. Additionally, we provide comprehensive analyses of our design choices, validating the effectiveness of each component to highlight potential areas for future improvement.