SHINOBI: Форма и освещение с использованием нейронной декомпозиции объектов через оптимизацию BRDF в естественных условиях
SHINOBI: Shape and Illumination using Neural Object Decomposition via BRDF Optimization In-the-wild
January 18, 2024
Авторы: Andreas Engelhardt, Amit Raj, Mark Boss, Yunzhi Zhang, Abhishek Kar, Yuanzhen Li, Deqing Sun, Ricardo Martin Brualla, Jonathan T. Barron, Hendrik P. A. Lensch, Varun Jampani
cs.AI
Аннотация
Мы представляем SHINOBI, сквозную систему для восстановления формы, материала и освещения по изображениям объектов, снятым при различных условиях освещения, позах и фонах. Обратный рендеринг объекта на основе неограниченных коллекций изображений является давней задачей в компьютерном зрении и графике и требует совместной оптимизации формы, излучения и позы. Мы показываем, что неявное представление формы на основе многомасштабного хэш-кодирования позволяет быстрее и надежнее восстанавливать форму с одновременной оптимизацией выравнивания камеры, превосходя предыдущие работы. Кроме того, для обеспечения возможности редактирования освещения и отражательной способности объекта (т.е. материала) мы совместно оптимизируем BRDF и освещение вместе с формой объекта. Наш метод не зависит от класса объектов и работает с коллекциями изображений объектов, снятых в естественных условиях, создавая переосвещаемые 3D-активы для различных применений, таких как AR/VR, фильмы, игры и т.д. Страница проекта: https://shinobi.aengelhardt.com Видео: https://www.youtube.com/watch?v=iFENQ6AcYd8&feature=youtu.be
English
We present SHINOBI, an end-to-end framework for the reconstruction of shape,
material, and illumination from object images captured with varying lighting,
pose, and background. Inverse rendering of an object based on unconstrained
image collections is a long-standing challenge in computer vision and graphics
and requires a joint optimization over shape, radiance, and pose. We show that
an implicit shape representation based on a multi-resolution hash encoding
enables faster and robust shape reconstruction with joint camera alignment
optimization that outperforms prior work. Further, to enable the editing of
illumination and object reflectance (i.e. material) we jointly optimize BRDF
and illumination together with the object's shape. Our method is class-agnostic
and works on in-the-wild image collections of objects to produce relightable 3D
assets for several use cases such as AR/VR, movies, games, etc. Project page:
https://shinobi.aengelhardt.com Video:
https://www.youtube.com/watch?v=iFENQ6AcYd8&feature=youtu.be