NeuGrasp: Reconstrucción Neural Generalizable de Superficies con Prioridades de Fondo para la Detección de Agarre de Objetos Independiente del Material

NeuGrasp: Generalizable Neural Surface Reconstruction with Background Priors for Material-Agnostic Object Grasp Detection

March 5, 2025

Autores: Qingyu Fan, Yinghao Cai, Chao Li, Wenzhe He, Xudong Zheng, Tao Lu, Bin Liang, Shuo Wang

cs.AI

Resumen

La manipulación robótica en escenas con objetos transparentes y especulares presenta grandes desafíos para los métodos que dependen de información precisa de profundidad. En este artículo, presentamos NeuGrasp, un método de reconstrucción de superficies neuronales que aprovecha conocimientos previos del fondo para la detección de agarres independiente del material. NeuGrasp integra transformadores y volúmenes de conocimiento global para agregar características multivista con codificación espacial, permitiendo una reconstrucción robusta de superficies en condiciones de visión estrecha y dispersa. Al enfocarse en objetos en primer plano mediante la mejora de características residuales y refinando la percepción espacial con un volumen de ocupación previa, NeuGrasp sobresale en el manejo de objetos con superficies transparentes y especulares. Experimentos extensos en escenarios tanto simulados como del mundo real muestran que NeuGrasp supera a los métodos más avanzados en manipulación mientras mantiene una calidad de reconstrucción comparable. Más detalles están disponibles en https://neugrasp.github.io/.

English

Robotic grasping in scenes with transparent and specular objects presents great challenges for methods relying on accurate depth information. In this paper, we introduce NeuGrasp, a neural surface reconstruction method that leverages background priors for material-agnostic grasp detection. NeuGrasp integrates transformers and global prior volumes to aggregate multi-view features with spatial encoding, enabling robust surface reconstruction in narrow and sparse viewing conditions. By focusing on foreground objects through residual feature enhancement and refining spatial perception with an occupancy-prior volume, NeuGrasp excels in handling objects with transparent and specular surfaces. Extensive experiments in both simulated and real-world scenarios show that NeuGrasp outperforms state-of-the-art methods in grasping while maintaining comparable reconstruction quality. More details are available at https://neugrasp.github.io/.