LEIA: 潜在的なビュー不変の埋め込みによる暗黙の3D関節化

LEIA: Latent View-invariant Embeddings for Implicit 3D Articulation

September 10, 2024

著者: Archana Swaminathan, Anubhav Gupta, Kamal Gupta, Shishira R. Maiya, Vatsal Agarwal, Abhinav Shrivastava

cs.AI

要旨

ニューラル・ラディアンス・フィールド（NeRFs）は、3Dにおける静的なシーンやオブジェクトの再構築を革新し、前例のない品質を提供しています。ただし、NeRFsを動的オブジェクトやオブジェクトの関節をモデル化するには依然として課題が残ります。過去の研究では、オブジェクトの部分レベルの再構築や動きの推定に焦点を当てることで、この問題に取り組んできましたが、移動する部位やオブジェクトのカテゴリに関するヒューリスティックに依存することが多く、それが実用上の制約となることがあります。本研究では、動的3Dオブジェクトを表現するための新しい手法であるLEIAを紹介します。当該手法は、オブジェクトを異なる時間ステップまたは「状態」で観察し、ハイパーネットワークを現在の状態に依存させ、これを用いてNeRFをパラメータ化します。この手法により、各状態に対してビューに依存しない潜在表現を学習することが可能となります。さらに、これらの状態間を補間することで、以前に見られなかった3D空間における新しい関節構成を生成することができることを示します。実験結果は、視点角や関節構成に独立した方法でオブジェクトの関節を表現するための当該手法の効果を示しています。特筆すべきは、当該手法が関節登録に動き情報を必要とする従来の手法を凌駕していることです。

English

Neural Radiance Fields (NeRFs) have revolutionized the reconstruction of static scenes and objects in 3D, offering unprecedented quality. However, extending NeRFs to model dynamic objects or object articulations remains a challenging problem. Previous works have tackled this issue by focusing on part-level reconstruction and motion estimation for objects, but they often rely on heuristics regarding the number of moving parts or object categories, which can limit their practical use. In this work, we introduce LEIA, a novel approach for representing dynamic 3D objects. Our method involves observing the object at distinct time steps or "states" and conditioning a hypernetwork on the current state, using this to parameterize our NeRF. This approach allows us to learn a view-invariant latent representation for each state. We further demonstrate that by interpolating between these states, we can generate novel articulation configurations in 3D space that were previously unseen. Our experimental results highlight the effectiveness of our method in articulating objects in a manner that is independent of the viewing angle and joint configuration. Notably, our approach outperforms previous methods that rely on motion information for articulation registration.