SHINOBI: Forma e Iluminação usando Decomposição Neural de Objetos via Otimização de BRDF em Ambientes Reais
SHINOBI: Shape and Illumination using Neural Object Decomposition via BRDF Optimization In-the-wild
January 18, 2024
Autores: Andreas Engelhardt, Amit Raj, Mark Boss, Yunzhi Zhang, Abhishek Kar, Yuanzhen Li, Deqing Sun, Ricardo Martin Brualla, Jonathan T. Barron, Hendrik P. A. Lensch, Varun Jampani
cs.AI
Resumo
Apresentamos o SHINOBI, um framework de ponta a ponta para a reconstrução de forma, material e iluminação a partir de imagens de objetos capturadas com variações de iluminação, pose e fundo. A renderização inversa de um objeto com base em coleções de imagens não restritas é um desafio antigo na visão computacional e gráficos, exigindo uma otimização conjunta de forma, radiância e pose. Demonstramos que uma representação implícita de forma baseada em uma codificação de hash multi-resolução permite uma reconstrução de forma mais rápida e robusta com otimização conjunta de alinhamento de câmera, superando trabalhos anteriores. Além disso, para possibilitar a edição de iluminação e refletância do objeto (ou seja, material), otimizamos conjuntamente o BRDF e a iluminação juntamente com a forma do objeto. Nosso método é independente de classe e funciona com coleções de imagens de objetos capturadas em cenários reais, produzindo ativos 3D reluzíveis para diversos casos de uso, como AR/VR, filmes, jogos, etc. Página do projeto: https://shinobi.aengelhardt.com Vídeo: https://www.youtube.com/watch?v=iFENQ6AcYd8&feature=youtu.be
English
We present SHINOBI, an end-to-end framework for the reconstruction of shape,
material, and illumination from object images captured with varying lighting,
pose, and background. Inverse rendering of an object based on unconstrained
image collections is a long-standing challenge in computer vision and graphics
and requires a joint optimization over shape, radiance, and pose. We show that
an implicit shape representation based on a multi-resolution hash encoding
enables faster and robust shape reconstruction with joint camera alignment
optimization that outperforms prior work. Further, to enable the editing of
illumination and object reflectance (i.e. material) we jointly optimize BRDF
and illumination together with the object's shape. Our method is class-agnostic
and works on in-the-wild image collections of objects to produce relightable 3D
assets for several use cases such as AR/VR, movies, games, etc. Project page:
https://shinobi.aengelhardt.com Video:
https://www.youtube.com/watch?v=iFENQ6AcYd8&feature=youtu.be