GANeRF: Utilizando Discriminadores para Otimizar Campos de Radiação Neural

GANeRF: Leveraging Discriminators to Optimize Neural Radiance Fields

June 9, 2023

Autores: Barbara Roessle, Norman Müller, Lorenzo Porzi, Samuel Rota Bulò, Peter Kontschieder, Matthias Nießner

cs.AI

Resumo

Neural Radiance Fields (NeRF) têm demonstrado resultados impressionantes na síntese de novas visões; no entanto, mesmo gravações detalhadas apresentam imperfeições nas reconstruções, por exemplo, devido a áreas mal observadas ou pequenas mudanças de iluminação. Nosso objetivo é mitigar essas imperfeições de várias fontes com uma solução conjunta: aproveitamos a capacidade das redes adversariais generativas (GANs) de produzir imagens realistas e as utilizamos para aprimorar o realismo na reconstrução de cenas 3D com NeRFs. Para isso, aprendemos a distribuição de patches de uma cena usando um discriminador adversarial, que fornece feedback para a reconstrução do campo de radiação, melhorando assim o realismo de forma consistente em 3D. Dessa maneira, artefatos de renderização são corrigidos diretamente na representação 3D subjacente, impondo restrições de renderização de caminho multi-visão. Além disso, condicionamos um gerador com renderizações NeRF de múltiplas resoluções, que é treinado de forma adversarial para melhorar ainda mais a qualidade da renderização. Demonstramos que nossa abordagem melhora significativamente a qualidade da renderização, por exemplo, reduzindo quase pela metade os escores LPIPS em comparação com o Nerfacto, ao mesmo tempo em que melhora o PSNR em 1,4 dB nas cenas internas avançadas do Tanks and Temples.

English

Neural Radiance Fields (NeRF) have shown impressive novel view synthesis results; nonetheless, even thorough recordings yield imperfections in reconstructions, for instance due to poorly observed areas or minor lighting changes. Our goal is to mitigate these imperfections from various sources with a joint solution: we take advantage of the ability of generative adversarial networks (GANs) to produce realistic images and use them to enhance realism in 3D scene reconstruction with NeRFs. To this end, we learn the patch distribution of a scene using an adversarial discriminator, which provides feedback to the radiance field reconstruction, thus improving realism in a 3D-consistent fashion. Thereby, rendering artifacts are repaired directly in the underlying 3D representation by imposing multi-view path rendering constraints. In addition, we condition a generator with multi-resolution NeRF renderings which is adversarially trained to further improve rendering quality. We demonstrate that our approach significantly improves rendering quality, e.g., nearly halving LPIPS scores compared to Nerfacto while at the same time improving PSNR by 1.4dB on the advanced indoor scenes of Tanks and Temples.