LEIA: 잠재 뷰 불변 임베딩을 이용한 암시적 3D 관절화

LEIA: Latent View-invariant Embeddings for Implicit 3D Articulation

September 10, 2024

저자: Archana Swaminathan, Anubhav Gupta, Kamal Gupta, Shishira R. Maiya, Vatsal Agarwal, Abhinav Shrivastava

cs.AI

초록

신경 방사 형광체 (NeRFs)는 정적 장면과 3D 객체의 재구성을 혁신적으로 바꿔 놓았으며, 전례 없는 품질을 제공합니다. 그러나 NeRFs를 동적 객체나 객체의 관절에 적용하는 것은 여전히 어려운 문제입니다. 이전 연구들은 객체의 부분 수준 재구성과 동적 객체의 움직임 추정에 초점을 맞추어 이 문제를 해결해 왔지만, 이들은 종종 움직이는 부분이나 객체 범주에 관한 휴리스틱에 의존하여 실용적인 사용을 제한할 수 있습니다. 본 연구에서는 동적 3D 객체를 표현하기 위한 혁신적인 접근 방식인 LEIA를 소개합니다. 우리의 방법은 객체를 서로 다른 시간 단계 또는 "상태"에서 관찰하고 현재 상태에 대한 하이퍼네트워크를 조건부로 사용하여 NeRF를 매개변수화하는 것을 포함합니다. 이 접근 방식을 통해 각 상태에 대한 뷰 불변(latent) 표현을 학습할 수 있습니다. 또한 이러한 상태들 사이를 보간함으로써 이전에 본 적 없는 3D 공간에서의 새로운 관절 구성을 생성할 수 있음을 보여줍니다. 실험 결과는 우리의 방법이 관찰 각도와 관절 구성과 독립적인 방식으로 객체의 관절을 표현하는 데 효과적임을 강조합니다. 특히, 우리의 접근 방식은 관절 등록을 위해 움직임 정보에 의존하는 이전 방법들을 능가합니다.

English

Neural Radiance Fields (NeRFs) have revolutionized the reconstruction of static scenes and objects in 3D, offering unprecedented quality. However, extending NeRFs to model dynamic objects or object articulations remains a challenging problem. Previous works have tackled this issue by focusing on part-level reconstruction and motion estimation for objects, but they often rely on heuristics regarding the number of moving parts or object categories, which can limit their practical use. In this work, we introduce LEIA, a novel approach for representing dynamic 3D objects. Our method involves observing the object at distinct time steps or "states" and conditioning a hypernetwork on the current state, using this to parameterize our NeRF. This approach allows us to learn a view-invariant latent representation for each state. We further demonstrate that by interpolating between these states, we can generate novel articulation configurations in 3D space that were previously unseen. Our experimental results highlight the effectiveness of our method in articulating objects in a manner that is independent of the viewing angle and joint configuration. Notably, our approach outperforms previous methods that rely on motion information for articulation registration.