NeuGrasp: Ricostruzione Neuralizzabile di Superfici con Prior di Sfondo per il Rilevamento di Prese su Oggetti Indipendenti dal Materiale

NeuGrasp: Generalizable Neural Surface Reconstruction with Background Priors for Material-Agnostic Object Grasp Detection

March 5, 2025

Autori: Qingyu Fan, Yinghao Cai, Chao Li, Wenzhe He, Xudong Zheng, Tao Lu, Bin Liang, Shuo Wang

cs.AI

Abstract

La presa robotica in scene con oggetti trasparenti e speculari presenta grandi sfide per i metodi che si basano su informazioni di profondità accurate. In questo articolo, introduciamo NeuGrasp, un metodo di ricostruzione neurale delle superfici che sfrutta prior di sfondo per il rilevamento di prese indipendente dal materiale. NeuGrasp integra trasformatori e volumi di prior globali per aggregare caratteristiche multi-vista con codifica spaziale, consentendo una robusta ricostruzione delle superfici in condizioni di visualizzazione ristrette e sparse. Concentrandosi sugli oggetti in primo piano attraverso il potenziamento delle caratteristiche residue e affinando la percezione spaziale con un volume di prior di occupazione, NeuGrasp eccelle nella gestione di oggetti con superfici trasparenti e speculari. Esperimenti estesi sia in scenari simulati che nel mondo reale dimostrano che NeuGrasp supera i metodi all'avanguardia nella presa mantenendo una qualità di ricostruzione comparabile. Ulteriori dettagli sono disponibili su https://neugrasp.github.io/.

English

Robotic grasping in scenes with transparent and specular objects presents great challenges for methods relying on accurate depth information. In this paper, we introduce NeuGrasp, a neural surface reconstruction method that leverages background priors for material-agnostic grasp detection. NeuGrasp integrates transformers and global prior volumes to aggregate multi-view features with spatial encoding, enabling robust surface reconstruction in narrow and sparse viewing conditions. By focusing on foreground objects through residual feature enhancement and refining spatial perception with an occupancy-prior volume, NeuGrasp excels in handling objects with transparent and specular surfaces. Extensive experiments in both simulated and real-world scenarios show that NeuGrasp outperforms state-of-the-art methods in grasping while maintaining comparable reconstruction quality. More details are available at https://neugrasp.github.io/.