LEIA: Incorporazioni latenti invarianti alla vista per l'articolazione implicita in 3D

LEIA: Latent View-invariant Embeddings for Implicit 3D Articulation

September 10, 2024

Autori: Archana Swaminathan, Anubhav Gupta, Kamal Gupta, Shishira R. Maiya, Vatsal Agarwal, Abhinav Shrivastava

cs.AI

Abstract

I Neural Radiance Fields (NeRF) hanno rivoluzionato la ricostruzione di scene e oggetti statici in 3D, offrendo una qualità senza precedenti. Tuttavia, estendere i NeRF per modellare oggetti dinamici o articolazioni degli oggetti rimane un problema impegnativo. Lavori precedenti hanno affrontato questa questione concentrandosi sulla ricostruzione a livello di parti e sull'individuazione del movimento degli oggetti, ma spesso si basano su euristiche riguardanti il numero di parti in movimento o le categorie degli oggetti, il che può limitarne l'uso pratico. In questo lavoro, presentiamo LEIA, un nuovo approccio per rappresentare oggetti dinamici in 3D. Il nostro metodo prevede di osservare l'oggetto in distinti passaggi temporali o "stati" e condizionare un iper-rete sullo stato attuale, utilizzandolo per parametrizzare il nostro NeRF. Questo approccio ci consente di apprendere una rappresentazione latente invariante alla vista per ciascuno stato. Dimostriamo inoltre che interpolando tra questi stati, possiamo generare nuove configurazioni di articolazioni nello spazio 3D che non erano state viste in precedenza. I nostri risultati sperimentali evidenziano l'efficacia del nostro metodo nell'articolare oggetti in modo indipendente dall'angolo di visione e dalla configurazione delle articolazioni. In particolare, il nostro approccio supera i metodi precedenti che si basano sulle informazioni di movimento per la registrazione delle articolazioni.

English

Neural Radiance Fields (NeRFs) have revolutionized the reconstruction of static scenes and objects in 3D, offering unprecedented quality. However, extending NeRFs to model dynamic objects or object articulations remains a challenging problem. Previous works have tackled this issue by focusing on part-level reconstruction and motion estimation for objects, but they often rely on heuristics regarding the number of moving parts or object categories, which can limit their practical use. In this work, we introduce LEIA, a novel approach for representing dynamic 3D objects. Our method involves observing the object at distinct time steps or "states" and conditioning a hypernetwork on the current state, using this to parameterize our NeRF. This approach allows us to learn a view-invariant latent representation for each state. We further demonstrate that by interpolating between these states, we can generate novel articulation configurations in 3D space that were previously unseen. Our experimental results highlight the effectiveness of our method in articulating objects in a manner that is independent of the viewing angle and joint configuration. Notably, our approach outperforms previous methods that rely on motion information for articulation registration.