가우시안 스플래팅을 통해 복잡한 관절 객체의 상호작용 가능한 레플리카 구축

Building Interactable Replicas of Complex Articulated Objects via Gaussian Splatting

February 26, 2025

저자: Yu Liu, Baoxiong Jia, Ruijie Lu, Junfeng Ni, Song-Chun Zhu, Siyuan Huang

cs.AI

초록

컴퓨터 비전에서 관절이 있는 물체를 구축하는 것은 주요한 도전 과제입니다. 기존 방법들은 종종 서로 다른 물체 상태 간의 정보를 효과적으로 통합하지 못하여 부분 메쉬 재구성 및 부분 역학 모델링의 정확도를 제한하는데, 특히 복잡한 다부분 관절이 있는 물체에 대해 그렇습니다. 우리는 이러한 문제를 해결하기 위해 유연하고 효율적인 표현으로 3D 가우시안을 활용하는 새로운 접근 방식인 ArtGS를 소개합니다. 우리의 방법은 서로 다른 물체 상태 간의 관절 부분 정보를 정렬하기 위해 초기화 및 업데이트를 위해 대표적인 가우시안을 포함하고, 부분 역학 모델링 모듈로 스킨닝을 영감으로 삼아 부분 메쉬 재구성과 관절 학습을 모두 개선합니다. 복합적인 다부분 물체에 대한 새로운 벤치마크를 포함한 합성 및 현실 세계 데이터셋에서의 광범위한 실험 결과는 ArtGS가 합동 매개변수 추정 및 부분 메쉬 재구성에서 최고 수준의 성능을 달성한다는 것을 입증합니다. 우리의 방법은 특히 다부분 관절이 있는 물체에 대해 재구성 품질과 효율성을 크게 향상시킵니다. 또한, 우리는 각 구성 요소의 효과를 검증하여 향후 개선 가능성을 강조하기 위해 설계 선택의 포괄적인 분석을 제공합니다.

English

Building articulated objects is a key challenge in computer vision. Existing methods often fail to effectively integrate information across different object states, limiting the accuracy of part-mesh reconstruction and part dynamics modeling, particularly for complex multi-part articulated objects. We introduce ArtGS, a novel approach that leverages 3D Gaussians as a flexible and efficient representation to address these issues. Our method incorporates canonical Gaussians with coarse-to-fine initialization and updates for aligning articulated part information across different object states, and employs a skinning-inspired part dynamics modeling module to improve both part-mesh reconstruction and articulation learning. Extensive experiments on both synthetic and real-world datasets, including a new benchmark for complex multi-part objects, demonstrate that ArtGS achieves state-of-the-art performance in joint parameter estimation and part mesh reconstruction. Our approach significantly improves reconstruction quality and efficiency, especially for multi-part articulated objects. Additionally, we provide comprehensive analyses of our design choices, validating the effectiveness of each component to highlight potential areas for future improvement.