Het bouwen van interactieve replica's van complexe gearticuleerde objecten via Gaussisch splatten.

Building Interactable Replicas of Complex Articulated Objects via Gaussian Splatting

February 26, 2025

Auteurs: Yu Liu, Baoxiong Jia, Ruijie Lu, Junfeng Ni, Song-Chun Zhu, Siyuan Huang

cs.AI

Samenvatting

Het bouwen van gearticuleerde objecten is een belangrijke uitdaging in de computervisie. Bestaande methoden falen vaak om informatie effectief te integreren over verschillende objecttoestanden, wat de nauwkeurigheid van de reconstructie van deel-meshes en de modellering van deeldynamiek beperkt, met name voor complexe multi-deel gearticuleerde objecten. We introduceren ArtGS, een nieuw benadering die 3D-Gaussianen gebruikt als een flexibele en efficiënte representatie om deze problemen aan te pakken. Onze methode omvat canonieke Gaussianen met een grof-naar-fijn initialisatie en updates voor het uitlijnen van gearticuleerde deelinformatie over verschillende objecttoestanden, en maakt gebruik van een op huid geïnspireerde module voor de modellering van deeldynamiek om zowel de reconstructie van deel-meshes als de articulatie-leren te verbeteren. Uitgebreide experimenten op zowel synthetische als echte datasets, inclusief een nieuwe benchmark voor complexe multi-deel objecten, tonen aan dat ArtGS state-of-the-art prestaties behaalt in gezamenlijke parameter schatting en deel mesh reconstructie. Onze benadering verbetert aanzienlijk de kwaliteit en efficiëntie van reconstructie, vooral voor multi-deel gearticuleerde objecten. Bovendien bieden we uitgebreide analyses van onze ontwerpkeuzes, waarbij de effectiviteit van elk onderdeel wordt bevestigd om mogelijke gebieden voor toekomstige verbetering te benadrukken.

English

Building articulated objects is a key challenge in computer vision. Existing methods often fail to effectively integrate information across different object states, limiting the accuracy of part-mesh reconstruction and part dynamics modeling, particularly for complex multi-part articulated objects. We introduce ArtGS, a novel approach that leverages 3D Gaussians as a flexible and efficient representation to address these issues. Our method incorporates canonical Gaussians with coarse-to-fine initialization and updates for aligning articulated part information across different object states, and employs a skinning-inspired part dynamics modeling module to improve both part-mesh reconstruction and articulation learning. Extensive experiments on both synthetic and real-world datasets, including a new benchmark for complex multi-part objects, demonstrate that ArtGS achieves state-of-the-art performance in joint parameter estimation and part mesh reconstruction. Our approach significantly improves reconstruction quality and efficiency, especially for multi-part articulated objects. Additionally, we provide comprehensive analyses of our design choices, validating the effectiveness of each component to highlight potential areas for future improvement.