LEIA: Скрытые инвариантные представления для неявной трехмерной артикуляции

LEIA: Latent View-invariant Embeddings for Implicit 3D Articulation

September 10, 2024

Авторы: Archana Swaminathan, Anubhav Gupta, Kamal Gupta, Shishira R. Maiya, Vatsal Agarwal, Abhinav Shrivastava

cs.AI

Аннотация

Нейронные поля радиантов (NeRF) революционизировали реконструкцию статических сцен и объектов в 3D, предлагая беспрецедентное качество. Однако расширение NeRF для моделирования динамических объектов или артикуляций объектов остается сложной задачей. Предыдущие работы решали эту проблему, сосредотачиваясь на реконструкции частей и оценке движения объектов, но они часто полагались на эвристику относительно количества движущихся частей или категорий объектов, что может ограничить их практическое использование. В данной работе мы представляем LEIA, новый подход к представлению динамических 3D объектов. Наш метод включает в себя наблюдение за объектом в различные моменты времени или "состояния" и условием гиперсети на текущее состояние, используя это для параметризации нашего NeRF. Этот подход позволяет нам изучить инвариантное к виду латентное представление для каждого состояния. Мы также демонстрируем, что, интерполируя между этими состояниями, мы можем генерировать новые конфигурации артикуляции в 3D пространстве, которые ранее не наблюдались. Наши экспериментальные результаты подчеркивают эффективность нашего метода в артикуляции объектов таким образом, который не зависит от угла обзора и конфигурации сочленений. Заметно, что наш подход превосходит предыдущие методы, полагающиеся на информацию о движении для регистрации артикуляции.

English

Neural Radiance Fields (NeRFs) have revolutionized the reconstruction of static scenes and objects in 3D, offering unprecedented quality. However, extending NeRFs to model dynamic objects or object articulations remains a challenging problem. Previous works have tackled this issue by focusing on part-level reconstruction and motion estimation for objects, but they often rely on heuristics regarding the number of moving parts or object categories, which can limit their practical use. In this work, we introduce LEIA, a novel approach for representing dynamic 3D objects. Our method involves observing the object at distinct time steps or "states" and conditioning a hypernetwork on the current state, using this to parameterize our NeRF. This approach allows us to learn a view-invariant latent representation for each state. We further demonstrate that by interpolating between these states, we can generate novel articulation configurations in 3D space that were previously unseen. Our experimental results highlight the effectiveness of our method in articulating objects in a manner that is independent of the viewing angle and joint configuration. Notably, our approach outperforms previous methods that rely on motion information for articulation registration.