Construcción de réplicas interactivas de objetos articulados complejos mediante Splatting Gaussiano

Building Interactable Replicas of Complex Articulated Objects via Gaussian Splatting

February 26, 2025

Autores: Yu Liu, Baoxiong Jia, Ruijie Lu, Junfeng Ni, Song-Chun Zhu, Siyuan Huang

cs.AI

Resumen

La construcción de objetos articulados es un desafío clave en visión por computadora. Los métodos existentes a menudo no logran integrar de manera efectiva la información a través de diferentes estados del objeto, lo que limita la precisión de la reconstrucción de mallas de partes y el modelado de dinámicas de partes, especialmente para objetos articulados de múltiples partes complejos. Presentamos ArtGS, un enfoque novedoso que aprovecha los Gaussianos 3D como una representación flexible y eficiente para abordar estos problemas. Nuestro método incorpora Gaussianos canónicos con inicialización y actualizaciones de grueso a fino para alinear la información de partes articuladas a través de diferentes estados del objeto, y emplea un módulo de modelado de dinámicas de partes inspirado en el "skinning" para mejorar tanto la reconstrucción de mallas de partes como el aprendizaje de articulaciones. Experimentos extensos en conjuntos de datos sintéticos y del mundo real, incluido un nuevo punto de referencia para objetos articulados de múltiples partes complejos, demuestran que ArtGS logra un rendimiento de vanguardia en la estimación de parámetros conjuntos y la reconstrucción de mallas de partes. Nuestro enfoque mejora significativamente la calidad y eficiencia de la reconstrucción, especialmente para objetos articulados de múltiples partes. Además, proporcionamos análisis exhaustivos de nuestras decisiones de diseño, validando la efectividad de cada componente para resaltar áreas potenciales de mejora futura.

English

Building articulated objects is a key challenge in computer vision. Existing methods often fail to effectively integrate information across different object states, limiting the accuracy of part-mesh reconstruction and part dynamics modeling, particularly for complex multi-part articulated objects. We introduce ArtGS, a novel approach that leverages 3D Gaussians as a flexible and efficient representation to address these issues. Our method incorporates canonical Gaussians with coarse-to-fine initialization and updates for aligning articulated part information across different object states, and employs a skinning-inspired part dynamics modeling module to improve both part-mesh reconstruction and articulation learning. Extensive experiments on both synthetic and real-world datasets, including a new benchmark for complex multi-part objects, demonstrate that ArtGS achieves state-of-the-art performance in joint parameter estimation and part mesh reconstruction. Our approach significantly improves reconstruction quality and efficiency, especially for multi-part articulated objects. Additionally, we provide comprehensive analyses of our design choices, validating the effectiveness of each component to highlight potential areas for future improvement.