NeuGrasp: Обобщаемая нейронная реконструкция поверхностей с использованием априорных данных о фоне для обнаружения захвата объектов, независимого от материала

NeuGrasp: Generalizable Neural Surface Reconstruction with Background Priors for Material-Agnostic Object Grasp Detection

March 5, 2025

Авторы: Qingyu Fan, Yinghao Cai, Chao Li, Wenzhe He, Xudong Zheng, Tao Lu, Bin Liang, Shuo Wang

cs.AI

Аннотация

Роботизированный захват в сценах с прозрачными и зеркальными объектами представляет значительные трудности для методов, полагающихся на точную информацию о глубине. В данной статье мы представляем NeuGrasp — метод нейронной реконструкции поверхностей, который использует априорные данные о фоне для обнаружения захвата, независимого от материала. NeuGrasp интегрирует трансформеры и глобальные априорные объемы для агрегирования признаков из нескольких ракурсов с пространственным кодированием, что позволяет добиться устойчивой реконструкции поверхностей в условиях узкого и разреженного обзора. Благодаря акценту на объекты переднего плана через усиление остаточных признаков и уточнению пространственного восприятия с использованием объема априорной занятости, NeuGrasp демонстрирует превосходство в работе с объектами, имеющими прозрачные и зеркальные поверхности. Многочисленные эксперименты в симулированных и реальных сценариях показывают, что NeuGrasp превосходит современные методы в задачах захвата, сохраняя при этом сопоставимое качество реконструкции. Дополнительные детали доступны на https://neugrasp.github.io/.

English

Robotic grasping in scenes with transparent and specular objects presents great challenges for methods relying on accurate depth information. In this paper, we introduce NeuGrasp, a neural surface reconstruction method that leverages background priors for material-agnostic grasp detection. NeuGrasp integrates transformers and global prior volumes to aggregate multi-view features with spatial encoding, enabling robust surface reconstruction in narrow and sparse viewing conditions. By focusing on foreground objects through residual feature enhancement and refining spatial perception with an occupancy-prior volume, NeuGrasp excels in handling objects with transparent and specular surfaces. Extensive experiments in both simulated and real-world scenarios show that NeuGrasp outperforms state-of-the-art methods in grasping while maintaining comparable reconstruction quality. More details are available at https://neugrasp.github.io/.