VIEA: Incrustaciones Latentes Invariantes a la Vista para Articulación 3D Implícita

LEIA: Latent View-invariant Embeddings for Implicit 3D Articulation

September 10, 2024

Autores: Archana Swaminathan, Anubhav Gupta, Kamal Gupta, Shishira R. Maiya, Vatsal Agarwal, Abhinav Shrivastava

cs.AI

Resumen

Los Campos de Radiancia Neurales (NeRFs) han revolucionado la reconstrucción de escenas y objetos estáticos en 3D, ofreciendo una calidad sin precedentes. Sin embargo, extender los NeRFs para modelar objetos dinámicos o articulaciones de objetos sigue siendo un problema desafiante. Trabajos previos han abordado este problema centrándose en la reconstrucción a nivel de partes y la estimación de movimiento para objetos, pero a menudo se basan en heurísticas respecto al número de partes móviles o categorías de objetos, lo que puede limitar su uso práctico. En este trabajo, presentamos LEIA, un enfoque novedoso para representar objetos dinámicos en 3D. Nuestro método implica observar el objeto en distintos pasos de tiempo o "estados" y condicionar una hiperrred en el estado actual, utilizando esto para parametrizar nuestro NeRF. Este enfoque nos permite aprender una representación latente invariante a la vista para cada estado. Además, demostramos que al interpolar entre estos estados, podemos generar nuevas configuraciones de articulación en el espacio 3D que no se habían visto previamente. Nuestros resultados experimentales resaltan la efectividad de nuestro método en articular objetos de una manera independiente del ángulo de visión y la configuración de las articulaciones. Notablemente, nuestro enfoque supera a métodos previos que se basan en información de movimiento para el registro de articulaciones.

English

Neural Radiance Fields (NeRFs) have revolutionized the reconstruction of static scenes and objects in 3D, offering unprecedented quality. However, extending NeRFs to model dynamic objects or object articulations remains a challenging problem. Previous works have tackled this issue by focusing on part-level reconstruction and motion estimation for objects, but they often rely on heuristics regarding the number of moving parts or object categories, which can limit their practical use. In this work, we introduce LEIA, a novel approach for representing dynamic 3D objects. Our method involves observing the object at distinct time steps or "states" and conditioning a hypernetwork on the current state, using this to parameterize our NeRF. This approach allows us to learn a view-invariant latent representation for each state. We further demonstrate that by interpolating between these states, we can generate novel articulation configurations in 3D space that were previously unseen. Our experimental results highlight the effectiveness of our method in articulating objects in a manner that is independent of the viewing angle and joint configuration. Notably, our approach outperforms previous methods that rely on motion information for articulation registration.