NeuGrasp: 背景事前情報を用いた汎用可能なニューラル表面再構成による材質非依存物体把持検出

NeuGrasp: Generalizable Neural Surface Reconstruction with Background Priors for Material-Agnostic Object Grasp Detection

March 5, 2025

著者: Qingyu Fan, Yinghao Cai, Chao Li, Wenzhe He, Xudong Zheng, Tao Lu, Bin Liang, Shuo Wang

cs.AI

要旨

透明物体や鏡面物体が存在するシーンにおけるロボット把持は、正確な深度情報に依存する手法にとって大きな課題となっています。本論文では、NeuGraspというニューラル表面再構築手法を紹介します。この手法は、背景の事前情報を活用し、材質に依存しない把持検出を実現します。NeuGraspは、トランスフォーマーとグローバル事前体積を統合し、空間エンコーディングを用いてマルチビュー特徴を集約することで、視野が狭く疎な条件下でも頑健な表面再構築を可能にします。前景物体に焦点を当てた残差特徴強化と、占有事前体積による空間知覚の洗練を通じて、NeuGraspは透明表面や鏡面を持つ物体の処理に優れた性能を発揮します。シミュレーションと実世界の両方のシナリオにおける広範な実験により、NeuGraspが把持において最先端の手法を上回りながら、同等の再構築品質を維持することが示されています。詳細はhttps://neugrasp.github.io/をご覧ください。

English

Robotic grasping in scenes with transparent and specular objects presents great challenges for methods relying on accurate depth information. In this paper, we introduce NeuGrasp, a neural surface reconstruction method that leverages background priors for material-agnostic grasp detection. NeuGrasp integrates transformers and global prior volumes to aggregate multi-view features with spatial encoding, enabling robust surface reconstruction in narrow and sparse viewing conditions. By focusing on foreground objects through residual feature enhancement and refining spatial perception with an occupancy-prior volume, NeuGrasp excels in handling objects with transparent and specular surfaces. Extensive experiments in both simulated and real-world scenarios show that NeuGrasp outperforms state-of-the-art methods in grasping while maintaining comparable reconstruction quality. More details are available at https://neugrasp.github.io/.