SHINOBI: Forma e Iluminación mediante Descomposición Neural de Objetos vía Optimización de BRDF en Entornos No Controlados

Resumen

Presentamos SHINOBI, un marco integral para la reconstrucción de forma, material e iluminación a partir de imágenes de objetos capturadas con variaciones en la iluminación, pose y fondo. La representación inversa de un objeto basada en colecciones de imágenes no restringidas es un desafío de larga data en visión por computadora y gráficos, y requiere una optimización conjunta de la forma, la radiancia y la pose. Demostramos que una representación implícita de la forma basada en una codificación hash de múltiples resoluciones permite una reconstrucción de forma más rápida y robusta con una optimización conjunta de alineación de cámara que supera trabajos previos. Además, para habilitar la edición de la iluminación y la reflectancia del objeto (es decir, el material), optimizamos conjuntamente el BRDF y la iluminación junto con la forma del objeto. Nuestro método es independiente de la clase y funciona con colecciones de imágenes de objetos en entornos no controlados para producir activos 3D relumbrantes para varios casos de uso, como AR/VR, películas, videojuegos, etc. Página del proyecto: https://shinobi.aengelhardt.com Video: https://www.youtube.com/watch?v=iFENQ6AcYd8&feature=youtu.be

English

We present SHINOBI, an end-to-end framework for the reconstruction of shape, material, and illumination from object images captured with varying lighting, pose, and background. Inverse rendering of an object based on unconstrained image collections is a long-standing challenge in computer vision and graphics and requires a joint optimization over shape, radiance, and pose. We show that an implicit shape representation based on a multi-resolution hash encoding enables faster and robust shape reconstruction with joint camera alignment optimization that outperforms prior work. Further, to enable the editing of illumination and object reflectance (i.e. material) we jointly optimize BRDF and illumination together with the object's shape. Our method is class-agnostic and works on in-the-wild image collections of objects to produce relightable 3D assets for several use cases such as AR/VR, movies, games, etc. Project page: https://shinobi.aengelhardt.com Video: https://www.youtube.com/watch?v=iFENQ6AcYd8&feature=youtu.be

SHINOBI: Forma e Iluminación mediante Descomposición Neural de Objetos vía Optimización de BRDF en Entornos No Controlados

SHINOBI: Shape and Illumination using Neural Object Decomposition via BRDF Optimization In-the-wild

Resumen

Support