NeuGrasp: Generaliseerbare neurale oppervlakreconstructie met achtergrondprioriteiten voor materiaal-agnostische objectgrijpdetectie

NeuGrasp: Generalizable Neural Surface Reconstruction with Background Priors for Material-Agnostic Object Grasp Detection

March 5, 2025

Auteurs: Qingyu Fan, Yinghao Cai, Chao Li, Wenzhe He, Xudong Zheng, Tao Lu, Bin Liang, Shuo Wang

cs.AI

Samenvatting

Robotisch grijpen in scènes met transparante en spiegelende objecten vormt grote uitdagingen voor methoden die afhankelijk zijn van nauwkeurige diepte-informatie. In dit artikel introduceren we NeuGrasp, een neurale oppervlakte-reconstructiemethode die gebruikmaakt van achtergrondpriors voor materiaalonafhankelijke grijpdetectie. NeuGrasp integreert transformers en globale priorvolumes om multiview-kenmerken te aggregeren met ruimtelijke codering, wat robuuste oppervlakte-reconstructie mogelijk maakt onder smalle en schaarse waarnemingsomstandigheden. Door zich te richten op voorgrondobjecten via residu-kenmerkverbetering en ruimtelijke waarneming te verfijnen met een bezettingspriorvolume, blinkt NeuGrasp uit in het omgaan met objecten met transparante en spiegelende oppervlakken. Uitgebreide experimenten in zowel gesimuleerde als realistische scenario's tonen aan dat NeuGrasp state-of-the-art methoden overtreft in grijpen, terwijl het vergelijkbare reconstructiekwaliteit behoudt. Meer details zijn beschikbaar op https://neugrasp.github.io/.

English

Robotic grasping in scenes with transparent and specular objects presents great challenges for methods relying on accurate depth information. In this paper, we introduce NeuGrasp, a neural surface reconstruction method that leverages background priors for material-agnostic grasp detection. NeuGrasp integrates transformers and global prior volumes to aggregate multi-view features with spatial encoding, enabling robust surface reconstruction in narrow and sparse viewing conditions. By focusing on foreground objects through residual feature enhancement and refining spatial perception with an occupancy-prior volume, NeuGrasp excels in handling objects with transparent and specular surfaces. Extensive experiments in both simulated and real-world scenarios show that NeuGrasp outperforms state-of-the-art methods in grasping while maintaining comparable reconstruction quality. More details are available at https://neugrasp.github.io/.