複雑な関節を持つ物体の対話可能なレプリカの構築に関する、ガウススプラッティングを用いた方法

要旨

コンピュータビジョンにおける重要な課題の1つは、関節のある物体の構築です。既存の手法はしばしば異なる物体状態間で情報を効果的に統合できず、部分メッシュ再構築や部分ダイナミクスモデリングの精度が制限されます。特に複雑な多部分の関節物体に対しては、その影響が顕著です。本研究では、これらの課題に対処する柔軟かつ効率的な表現として3Dガウス分布を活用する新しい手法ArtGSを提案します。当手法は、異なる物体状態間で関節部分情報を整列させるために、標準的なガウス分布を粗から細の初期化および更新と組み合わせ、さらに部分ダイナミクスモデリングモジュールを採用して、部分メッシュ再構築と関節学習の両方を改善します。複雑な多部分物体の新しいベンチマークを含む合成および実世界のデータセットでの幅広い実験により、ArtGSが共通パラメータ推定と部分メッシュ再構築において最先端の性能を達成することが示されました。当手法は、特に多部分の関節物体において再構築の品質と効率を著しく向上させます。さらに、設計選択の包括的な分析を提供し、各コンポーネントの有効性を検証して、将来の改善のための潜在的な領域を示しています。

English

Building articulated objects is a key challenge in computer vision. Existing methods often fail to effectively integrate information across different object states, limiting the accuracy of part-mesh reconstruction and part dynamics modeling, particularly for complex multi-part articulated objects. We introduce ArtGS, a novel approach that leverages 3D Gaussians as a flexible and efficient representation to address these issues. Our method incorporates canonical Gaussians with coarse-to-fine initialization and updates for aligning articulated part information across different object states, and employs a skinning-inspired part dynamics modeling module to improve both part-mesh reconstruction and articulation learning. Extensive experiments on both synthetic and real-world datasets, including a new benchmark for complex multi-part objects, demonstrate that ArtGS achieves state-of-the-art performance in joint parameter estimation and part mesh reconstruction. Our approach significantly improves reconstruction quality and efficiency, especially for multi-part articulated objects. Additionally, we provide comprehensive analyses of our design choices, validating the effectiveness of each component to highlight potential areas for future improvement.

複雑な関節を持つ物体の対話可能なレプリカの構築に関する、ガウススプラッティングを用いた方法

Building Interactable Replicas of Complex Articulated Objects via Gaussian Splatting

要旨

Support