NeuGrasp : Reconstruction de surfaces neuronales généralisables avec a priori de fond pour la détection de préhension d'objets indépendante des matériaux

NeuGrasp: Generalizable Neural Surface Reconstruction with Background Priors for Material-Agnostic Object Grasp Detection

March 5, 2025

Auteurs: Qingyu Fan, Yinghao Cai, Chao Li, Wenzhe He, Xudong Zheng, Tao Lu, Bin Liang, Shuo Wang

cs.AI

Résumé

La préhension robotique dans des scènes contenant des objets transparents et spéculaires pose d'importants défis pour les méthodes reposant sur des informations de profondeur précises. Dans cet article, nous présentons NeuGrasp, une méthode de reconstruction de surface neuronale qui exploite des a priori de fond pour la détection de préhension indépendante du matériau. NeuGrasp intègre des transformateurs et des volumes d'a priori globaux pour agréger des caractéristiques multi-vues avec un encodage spatial, permettant une reconstruction de surface robuste dans des conditions de vision étroites et éparses. En se concentrant sur les objets au premier plan grâce à une amélioration résiduelle des caractéristiques et en affinant la perception spatiale avec un volume d'a priori d'occupation, NeuGrasp excelle dans la manipulation d'objets à surfaces transparentes et spéculaires. Des expériences approfondies dans des scénarios simulés et réels montrent que NeuGrasp surpasse les méthodes de pointe en matière de préhension tout en maintenant une qualité de reconstruction comparable. Plus de détails sont disponibles sur https://neugrasp.github.io/.

English

Robotic grasping in scenes with transparent and specular objects presents great challenges for methods relying on accurate depth information. In this paper, we introduce NeuGrasp, a neural surface reconstruction method that leverages background priors for material-agnostic grasp detection. NeuGrasp integrates transformers and global prior volumes to aggregate multi-view features with spatial encoding, enabling robust surface reconstruction in narrow and sparse viewing conditions. By focusing on foreground objects through residual feature enhancement and refining spatial perception with an occupancy-prior volume, NeuGrasp excels in handling objects with transparent and specular surfaces. Extensive experiments in both simulated and real-world scenarios show that NeuGrasp outperforms state-of-the-art methods in grasping while maintaining comparable reconstruction quality. More details are available at https://neugrasp.github.io/.