Erstellung interaktiver Repliken komplexer artikulierter Objekte mittels Gaußscher Splatting

Building Interactable Replicas of Complex Articulated Objects via Gaussian Splatting

February 26, 2025

Autoren: Yu Liu, Baoxiong Jia, Ruijie Lu, Junfeng Ni, Song-Chun Zhu, Siyuan Huang

cs.AI

Zusammenfassung

Die Erstellung artikulierter Objekte stellt eine zentrale Herausforderung in der Computer Vision dar. Bestehende Methoden scheitern oft daran, Informationen über verschiedene Objektzustände effektiv zu integrieren, was die Genauigkeit der Teilnetz-Rekonstruktion und der Modellierung von Teilbewegungen einschränkt, insbesondere bei komplexen, mehrteiligen artikulierten Objekten. Wir stellen ArtGS vor, einen neuartigen Ansatz, der 3D-Gaußsche Verteilungen als flexible und effiziente Repräsentation nutzt, um diese Probleme zu adressieren. Unsere Methode integriert kanonische Gaußsche Verteilungen mit einer grob- bis feinabgestuften Initialisierung und Aktualisierung, um Informationen über artikulierte Teile über verschiedene Objektzustände hinweg auszurichten, und verwendet ein von Skinning inspiriertes Modul zur Modellierung von Teilbewegungen, um sowohl die Teilnetz-Rekonstruktion als auch das Erlernen von Artikulationen zu verbessern. Umfangreiche Experimente auf synthetischen und realen Datensätzen, einschließlich eines neuen Benchmarks für komplexe mehrteilige Objekte, zeigen, dass ArtGS Spitzenleistungen in der gemeinsamen Parameterabschätzung und Teilnetz-Rekonstruktion erreicht. Unser Ansatz verbessert die Rekonstruktionsqualität und Effizienz erheblich, insbesondere bei mehrteiligen artikulierten Objekten. Zusätzlich bieten wir umfassende Analysen unserer Designentscheidungen, die die Wirksamkeit jeder Komponente validieren und potenzielle Bereiche für zukünftige Verbesserungen aufzeigen.

English

Building articulated objects is a key challenge in computer vision. Existing methods often fail to effectively integrate information across different object states, limiting the accuracy of part-mesh reconstruction and part dynamics modeling, particularly for complex multi-part articulated objects. We introduce ArtGS, a novel approach that leverages 3D Gaussians as a flexible and efficient representation to address these issues. Our method incorporates canonical Gaussians with coarse-to-fine initialization and updates for aligning articulated part information across different object states, and employs a skinning-inspired part dynamics modeling module to improve both part-mesh reconstruction and articulation learning. Extensive experiments on both synthetic and real-world datasets, including a new benchmark for complex multi-part objects, demonstrate that ArtGS achieves state-of-the-art performance in joint parameter estimation and part mesh reconstruction. Our approach significantly improves reconstruction quality and efficiency, especially for multi-part articulated objects. Additionally, we provide comprehensive analyses of our design choices, validating the effectiveness of each component to highlight potential areas for future improvement.