NeuGrasp: Reconstrução Neural de Superfícies Generalizável com Prioris de Fundo para Detecção de Agarre de Objetos Independente de Material

NeuGrasp: Generalizable Neural Surface Reconstruction with Background Priors for Material-Agnostic Object Grasp Detection

March 5, 2025

Autores: Qingyu Fan, Yinghao Cai, Chao Li, Wenzhe He, Xudong Zheng, Tao Lu, Bin Liang, Shuo Wang

cs.AI

Resumo

A preensão robótica em cenas com objetos transparentes e especulares apresenta grandes desafios para métodos que dependem de informações precisas de profundidade. Neste artigo, introduzimos o NeuGrasp, um método de reconstrução de superfície neural que aproveita prioridades de fundo para detecção de preensão independente de material. O NeuGrasp integra transformadores e volumes de prioridade global para agregar características de múltiplas visões com codificação espacial, permitindo uma reconstrução robusta da superfície em condições de visualização estreitas e esparsas. Ao focar em objetos em primeiro plano através do aprimoramento de características residuais e refinando a percepção espacial com um volume de prioridade de ocupação, o NeuGrasp se destaca no manuseio de objetos com superfícies transparentes e especulares. Experimentos extensivos em cenários simulados e do mundo real mostram que o NeuGrasp supera os métodos state-of-the-art em preensão, mantendo uma qualidade de reconstrução comparável. Mais detalhes estão disponíveis em https://neugrasp.github.io/.

English

Robotic grasping in scenes with transparent and specular objects presents great challenges for methods relying on accurate depth information. In this paper, we introduce NeuGrasp, a neural surface reconstruction method that leverages background priors for material-agnostic grasp detection. NeuGrasp integrates transformers and global prior volumes to aggregate multi-view features with spatial encoding, enabling robust surface reconstruction in narrow and sparse viewing conditions. By focusing on foreground objects through residual feature enhancement and refining spatial perception with an occupancy-prior volume, NeuGrasp excels in handling objects with transparent and specular surfaces. Extensive experiments in both simulated and real-world scenarios show that NeuGrasp outperforms state-of-the-art methods in grasping while maintaining comparable reconstruction quality. More details are available at https://neugrasp.github.io/.