Campos Neurais em Robótica: Uma Pesquisa

Neural Fields in Robotics: A Survey

October 26, 2024

Autores: Muhammad Zubair Irshad, Mauro Comi, Yen-Chen Lin, Nick Heppert, Abhinav Valada, Rares Ambrus, Zsolt Kira, Jonathan Tremblay

cs.AI

Resumo

Os Campos Neurais surgiram como uma abordagem transformadora para a representação de cenas 3D em visão computacional e robótica, permitindo uma inferência precisa de geometria, semântica 3D e dinâmica a partir de dados 2D fornecidos. Aproveitando a renderização diferenciável, os Campos Neurais abrangem representações neurais contínuas implícitas e explícitas, possibilitando uma reconstrução 3D de alta fidelidade, integração de dados de sensores multimodais e geração de novos pontos de vista. Esta pesquisa explora suas aplicações em robótica, enfatizando seu potencial para aprimorar a percepção, planejamento e controle. Sua compacidade, eficiência de memória e diferenciabilidade, juntamente com a integração perfeita com modelos fundamentais e generativos, os tornam ideais para aplicações em tempo real, melhorando a adaptabilidade e tomada de decisão dos robôs. Este artigo fornece uma revisão abrangente dos Campos Neurais em robótica, categorizando aplicações em diversos domínios e avaliando seus pontos fortes e limitações, com base em mais de 200 artigos. Primeiramente, apresentamos quatro estruturas-chave de Campos Neurais: Redes de Ocupação, Campos de Distância Assinada, Campos de Radiância Neural e Splatting Gaussiano. Em segundo lugar, detalhamos as aplicações dos Campos Neurais em cinco grandes domínios da robótica: estimativa de pose, manipulação, navegação, física e direção autônoma, destacando trabalhos importantes e discutindo conclusões e desafios em aberto. Por fim, delineamos as limitações atuais dos Campos Neurais em robótica e propomos direções promissoras para pesquisas futuras. Página do projeto: https://robonerf.github.io

English

Neural Fields have emerged as a transformative approach for 3D scene representation in computer vision and robotics, enabling accurate inference of geometry, 3D semantics, and dynamics from posed 2D data. Leveraging differentiable rendering, Neural Fields encompass both continuous implicit and explicit neural representations enabling high-fidelity 3D reconstruction, integration of multi-modal sensor data, and generation of novel viewpoints. This survey explores their applications in robotics, emphasizing their potential to enhance perception, planning, and control. Their compactness, memory efficiency, and differentiability, along with seamless integration with foundation and generative models, make them ideal for real-time applications, improving robot adaptability and decision-making. This paper provides a thorough review of Neural Fields in robotics, categorizing applications across various domains and evaluating their strengths and limitations, based on over 200 papers. First, we present four key Neural Fields frameworks: Occupancy Networks, Signed Distance Fields, Neural Radiance Fields, and Gaussian Splatting. Second, we detail Neural Fields' applications in five major robotics domains: pose estimation, manipulation, navigation, physics, and autonomous driving, highlighting key works and discussing takeaways and open challenges. Finally, we outline the current limitations of Neural Fields in robotics and propose promising directions for future research. Project page: https://robonerf.github.io