NeuGrasp: 물질에 구애받지 않는 객체 파지 탐지를 위한 배경 사전 지식을 활용한 일반화 가능한 신경망 기반 표면 재구성

NeuGrasp: Generalizable Neural Surface Reconstruction with Background Priors for Material-Agnostic Object Grasp Detection

March 5, 2025

저자: Qingyu Fan, Yinghao Cai, Chao Li, Wenzhe He, Xudong Zheng, Tao Lu, Bin Liang, Shuo Wang

cs.AI

초록

투명하고 반사적인 물체가 있는 장면에서의 로봇 그리핑은 정확한 깊이 정보에 의존하는 방법들에 큰 도전을 제시합니다. 본 논문에서는 물질에 구애받지 않는 그리핑 탐지를 위해 배경 사전 정보를 활용하는 신경망 표면 재구성 방법인 NeuGrasp를 소개합니다. NeuGrasp는 트랜스포머와 글로벌 사전 볼륨을 통합하여 다중 시점 특징을 공간 인코딩과 함께 집계함으로써, 좁고 희소한 시야 조건에서도 견고한 표면 재구성을 가능하게 합니다. 잔차 특징 강화를 통해 전경 물체에 초점을 맞추고, 점유 사전 볼륨을 사용하여 공간 인식을 정제함으로써, NeuGrasp는 투명하고 반사적인 표면을 가진 물체를 처리하는 데 탁월한 성능을 보입니다. 시뮬레이션과 실제 환경에서의 광범위한 실험을 통해 NeuGrasp가 그리핑 작업에서 최신 방법들을 능가하면서도 비슷한 수준의 재구성 품질을 유지함을 입증했습니다. 더 자세한 내용은 https://neugrasp.github.io/에서 확인할 수 있습니다.

English

Robotic grasping in scenes with transparent and specular objects presents great challenges for methods relying on accurate depth information. In this paper, we introduce NeuGrasp, a neural surface reconstruction method that leverages background priors for material-agnostic grasp detection. NeuGrasp integrates transformers and global prior volumes to aggregate multi-view features with spatial encoding, enabling robust surface reconstruction in narrow and sparse viewing conditions. By focusing on foreground objects through residual feature enhancement and refining spatial perception with an occupancy-prior volume, NeuGrasp excels in handling objects with transparent and specular surfaces. Extensive experiments in both simulated and real-world scenarios show that NeuGrasp outperforms state-of-the-art methods in grasping while maintaining comparable reconstruction quality. More details are available at https://neugrasp.github.io/.