Campos Neuronales en Robótica: Un Estudio

Neural Fields in Robotics: A Survey

October 26, 2024

Autores: Muhammad Zubair Irshad, Mauro Comi, Yen-Chen Lin, Nick Heppert, Abhinav Valada, Rares Ambrus, Zsolt Kira, Jonathan Tremblay

cs.AI

Resumen

Los Campos Neuronales han surgido como un enfoque transformador para la representación de escenas 3D en visión por computadora y robótica, permitiendo una inferencia precisa de la geometría, semántica 3D y dinámica a partir de datos 2D planteados. Aprovechando el renderizado diferenciable, los Campos Neuronales abarcan tanto representaciones neuronales implícitas como explícitas continuas que permiten una reconstrucción 3D de alta fidelidad, la integración de datos de sensores multimodales y la generación de nuevos puntos de vista. Esta revisión explora sus aplicaciones en robótica, enfatizando su potencial para mejorar la percepción, planificación y control. Su compacidad, eficiencia de memoria y diferenciabilidad, junto con la integración perfecta con modelos fundamentales y generativos, los hacen ideales para aplicaciones en tiempo real, mejorando la adaptabilidad y la toma de decisiones de los robots. Este documento proporciona una revisión exhaustiva de los Campos Neuronales en robótica, categorizando las aplicaciones en diversos dominios y evaluando sus fortalezas y limitaciones, basándose en más de 200 artículos. En primer lugar, presentamos cuatro marcos clave de Campos Neuronales: Redes de Ocupación, Campos de Distancia Firmada, Campos de Radiación Neuronal y Splatting Gaussiano. En segundo lugar, detallamos las aplicaciones de los Campos Neuronales en cinco dominios principales de robótica: estimación de pose, manipulación, navegación, física y conducción autónoma, destacando trabajos clave y discutiendo conclusiones y desafíos abiertos. Por último, esbozamos las limitaciones actuales de los Campos Neuronales en robótica y proponemos direcciones prometedoras para futuras investigaciones. Página del proyecto: https://robonerf.github.io

English

Neural Fields have emerged as a transformative approach for 3D scene representation in computer vision and robotics, enabling accurate inference of geometry, 3D semantics, and dynamics from posed 2D data. Leveraging differentiable rendering, Neural Fields encompass both continuous implicit and explicit neural representations enabling high-fidelity 3D reconstruction, integration of multi-modal sensor data, and generation of novel viewpoints. This survey explores their applications in robotics, emphasizing their potential to enhance perception, planning, and control. Their compactness, memory efficiency, and differentiability, along with seamless integration with foundation and generative models, make them ideal for real-time applications, improving robot adaptability and decision-making. This paper provides a thorough review of Neural Fields in robotics, categorizing applications across various domains and evaluating their strengths and limitations, based on over 200 papers. First, we present four key Neural Fields frameworks: Occupancy Networks, Signed Distance Fields, Neural Radiance Fields, and Gaussian Splatting. Second, we detail Neural Fields' applications in five major robotics domains: pose estimation, manipulation, navigation, physics, and autonomous driving, highlighting key works and discussing takeaways and open challenges. Finally, we outline the current limitations of Neural Fields in robotics and propose promising directions for future research. Project page: https://robonerf.github.io