LEIA: Latente View-invariante Inbeddingen voor Impliciete 3D-articulatie

LEIA: Latent View-invariant Embeddings for Implicit 3D Articulation

September 10, 2024

Auteurs: Archana Swaminathan, Anubhav Gupta, Kamal Gupta, Shishira R. Maiya, Vatsal Agarwal, Abhinav Shrivastava

cs.AI

Samenvatting

Neurale Stralingsvelden (NeRFs) hebben de reconstructie van statische scènes en objecten in 3D gerevolutioneerd, met een ongekende kwaliteit. Het uitbreiden van NeRFs om dynamische objecten of objectarticulaties te modelleren blijft echter een uitdagend probleem. Eerdere werken hebben dit aangepakt door zich te richten op de reconstructie op deel-niveau en bewegingsschatting voor objecten, maar ze vertrouwen vaak op heuristieken met betrekking tot het aantal bewegende delen of objectcategorieën, wat hun praktische toepassing kan beperken. In dit werk introduceren we LEIA, een nieuwe benadering voor het representeren van dynamische 3D-objecten. Onze methode omvat het observeren van het object op verschillende tijdstappen of "staten" en het conditioneren van een hypernetwerk op de huidige staat, waarbij we dit gebruiken om onze NeRF te parameteriseren. Deze benadering stelt ons in staat om een kijk-onafhankelijke latente representatie te leren voor elke staat. We tonen verder aan dat door te interpoleren tussen deze staten, we nieuwe articulatieconfiguraties in 3D-ruimte kunnen genereren die eerder niet waren gezien. Onze experimentele resultaten benadrukken de effectiviteit van onze methode bij het articuleren van objecten op een manier die onafhankelijk is van de kijkhoek en gewrichtsconfiguratie. Opmerkelijk is dat onze benadering beter presteert dan eerdere methoden die vertrouwen op bewegingsinformatie voor articulatieregistratie.

English

Neural Radiance Fields (NeRFs) have revolutionized the reconstruction of static scenes and objects in 3D, offering unprecedented quality. However, extending NeRFs to model dynamic objects or object articulations remains a challenging problem. Previous works have tackled this issue by focusing on part-level reconstruction and motion estimation for objects, but they often rely on heuristics regarding the number of moving parts or object categories, which can limit their practical use. In this work, we introduce LEIA, a novel approach for representing dynamic 3D objects. Our method involves observing the object at distinct time steps or "states" and conditioning a hypernetwork on the current state, using this to parameterize our NeRF. This approach allows us to learn a view-invariant latent representation for each state. We further demonstrate that by interpolating between these states, we can generate novel articulation configurations in 3D space that were previously unseen. Our experimental results highlight the effectiveness of our method in articulating objects in a manner that is independent of the viewing angle and joint configuration. Notably, our approach outperforms previous methods that rely on motion information for articulation registration.