ロボティクスにおけるニューラルフィールド：サーベイ

Neural Fields in Robotics: A Survey

October 26, 2024

著者: Muhammad Zubair Irshad, Mauro Comi, Yen-Chen Lin, Nick Heppert, Abhinav Valada, Rares Ambrus, Zsolt Kira, Jonathan Tremblay

cs.AI

要旨

ニューラルフィールドは、コンピュータビジョンやロボティクスにおける3Dシーン表現の革新的なアプローチとして登場し、2Dデータからの幾何学、3Dセマンティクス、およびダイナミクスの正確な推論を可能にしました。微分可能なレンダリングを活用することで、ニューラルフィールドは連続的な暗黙的および明示的なニューラル表現の両方を包括し、高精度な3D再構築、マルチモーダルセンサーデータの統合、および新しい視点の生成を実現しています。この調査は、ロボティクスにおけるニューラルフィールドの応用を探究し、知覚、計画、および制御の向上に対する潜在的な可能性を強調しています。そのコンパクトさ、メモリ効率、および微分可能性、さらには基盤と生成モデルとのシームレスな統合により、リアルタイムアプリケーションに最適であり、ロボットの適応性と意思決定を向上させます。本論文は、ロボティクスにおけるニューラルフィールドの包括的なレビューを提供し、200以上の論文に基づいて、さまざまな領域での応用を分類し、その強みと制限を評価しています。まず、4つの主要なニューラルフィールドフレームワークを提示します：占有ネットワーク、符号付き距離フィールド、ニューラル輝度フィールド、およびガウススプラッティング。次に、ポーズ推定、操作、ナビゲーション、物理、自律走行の5つの主要なロボティクス領域でのニューラルフィールドの応用について詳細に説明し、主要な研究と議論の要点、および課題を取り上げます。最後に、ロボティクスにおけるニューラルフィールドの現在の制限を概説し、将来の研究に向けた有望な方向を提案します。プロジェクトページ：https://robonerf.github.io

English

Neural Fields have emerged as a transformative approach for 3D scene representation in computer vision and robotics, enabling accurate inference of geometry, 3D semantics, and dynamics from posed 2D data. Leveraging differentiable rendering, Neural Fields encompass both continuous implicit and explicit neural representations enabling high-fidelity 3D reconstruction, integration of multi-modal sensor data, and generation of novel viewpoints. This survey explores their applications in robotics, emphasizing their potential to enhance perception, planning, and control. Their compactness, memory efficiency, and differentiability, along with seamless integration with foundation and generative models, make them ideal for real-time applications, improving robot adaptability and decision-making. This paper provides a thorough review of Neural Fields in robotics, categorizing applications across various domains and evaluating their strengths and limitations, based on over 200 papers. First, we present four key Neural Fields frameworks: Occupancy Networks, Signed Distance Fields, Neural Radiance Fields, and Gaussian Splatting. Second, we detail Neural Fields' applications in five major robotics domains: pose estimation, manipulation, navigation, physics, and autonomous driving, highlighting key works and discussing takeaways and open challenges. Finally, we outline the current limitations of Neural Fields in robotics and propose promising directions for future research. Project page: https://robonerf.github.io