Нейронные поля в робототехнике: обзор

Neural Fields in Robotics: A Survey

October 26, 2024

Авторы: Muhammad Zubair Irshad, Mauro Comi, Yen-Chen Lin, Nick Heppert, Abhinav Valada, Rares Ambrus, Zsolt Kira, Jonathan Tremblay

cs.AI

Аннотация

Нейронные поля стали трансформационным подходом к представлению трехмерных сцен в компьютерном зрении и робототехнике, обеспечивая точное выводы геометрии, трехмерной семантики и динамики из поставленных двумерных данных. Используя дифференцируемый рендеринг, нейронные поля охватывают как непрерывные неявные, так и явные нейронные представления, обеспечивая высококачественную трехмерную реконструкцию, интеграцию мультимодальных данных сенсоров и генерацию новых точек зрения. В данном обзоре исследуются их применения в робототехнике, подчеркивая их потенциал для улучшения восприятия, планирования и управления. Их компактность, эффективность использования памяти и дифференцируемость, а также безупречная интеграция с основными и генеративными моделями делают их идеальными для приложений в реальном времени, улучшая адаптивность и принятие решений роботов. В данной статье представлено подробное обзорное исследование Нейронных Полей в робототехнике, категоризирующее их применения в различных областях и оценивающее их сильные и слабые стороны на основе более чем 200 статей. Во-первых, мы представляем четыре ключевых фреймворка Нейронных Полей: Сети Занятости, Поля Знаковых Расстояний, Нейронные Поля Светимости и Гауссово Разбрызгивание. Во-вторых, мы подробно описываем применения Нейронных Полей в пяти основных областях робототехники: оценка положения, манипуляции, навигация, физика и автономное вождение, выделяя ключевые работы, обсуждая выводы и открытые проблемы. Наконец, мы обозначаем текущие ограничения Нейронных Полей в робототехнике и предлагаем перспективные направления для будущих исследований. Страница проекта: https://robonerf.github.io

English

Neural Fields have emerged as a transformative approach for 3D scene representation in computer vision and robotics, enabling accurate inference of geometry, 3D semantics, and dynamics from posed 2D data. Leveraging differentiable rendering, Neural Fields encompass both continuous implicit and explicit neural representations enabling high-fidelity 3D reconstruction, integration of multi-modal sensor data, and generation of novel viewpoints. This survey explores their applications in robotics, emphasizing their potential to enhance perception, planning, and control. Their compactness, memory efficiency, and differentiability, along with seamless integration with foundation and generative models, make them ideal for real-time applications, improving robot adaptability and decision-making. This paper provides a thorough review of Neural Fields in robotics, categorizing applications across various domains and evaluating their strengths and limitations, based on over 200 papers. First, we present four key Neural Fields frameworks: Occupancy Networks, Signed Distance Fields, Neural Radiance Fields, and Gaussian Splatting. Second, we detail Neural Fields' applications in five major robotics domains: pose estimation, manipulation, navigation, physics, and autonomous driving, highlighting key works and discussing takeaways and open challenges. Finally, we outline the current limitations of Neural Fields in robotics and propose promising directions for future research. Project page: https://robonerf.github.io