ScanBot : Vers un balayage intelligent de surfaces dans les systèmes robotiques incarnés

ScanBot: Towards Intelligent Surface Scanning in Embodied Robotic Systems

May 22, 2025

Auteurs: Zhiling Chen, Yang Zhang, Fardin Jalil Piran, Qianyu Zhou, Jiong Tang, Farhad Imani

cs.AI

Résumé

Nous présentons ScanBot, un nouveau jeu de données conçu pour le balayage de surface à haute précision conditionné par des instructions dans les systèmes robotiques. Contrairement aux jeux de données existants pour l'apprentissage robotique qui se concentrent sur des tâches grossières telles que la préhension, la navigation ou le dialogue, ScanBot cible les exigences de haute précision du balayage laser industriel, où la continuité de trajectoire au niveau submillimétrique et la stabilité des paramètres sont critiques. Le jeu de données couvre des trajectoires de balayage laser exécutées par un robot sur 12 objets variés et 6 types de tâches, incluant des scans de surface complète, des régions centrées sur la géométrie, des parties spatialement référencées, des structures fonctionnellement pertinentes, l'inspection de défauts et l'analyse comparative. Chaque scan est guidé par des instructions en langage naturel et est associé à des profils RGB, de profondeur et laser synchronisés, ainsi qu'aux poses du robot et aux états des articulations. Malgré les progrès récents, les modèles vision-langage-action (VLA) existants échouent encore à générer des trajectoires de balayage stables sous des instructions fines et des exigences de précision réalistes. Pour étudier cette limitation, nous évaluons une gamme de modèles de langage multimodaux (MLLMs) sur l'ensemble de la boucle perception-planification-exécution, révélant des défis persistants dans le suivi d'instructions sous des contraintes réalistes.

English

We introduce ScanBot, a novel dataset designed for instruction-conditioned, high-precision surface scanning in robotic systems. In contrast to existing robot learning datasets that focus on coarse tasks such as grasping, navigation, or dialogue, ScanBot targets the high-precision demands of industrial laser scanning, where sub-millimeter path continuity and parameter stability are critical. The dataset covers laser scanning trajectories executed by a robot across 12 diverse objects and 6 task types, including full-surface scans, geometry-focused regions, spatially referenced parts, functionally relevant structures, defect inspection, and comparative analysis. Each scan is guided by natural language instructions and paired with synchronized RGB, depth, and laser profiles, as well as robot pose and joint states. Despite recent progress, existing vision-language action (VLA) models still fail to generate stable scanning trajectories under fine-grained instructions and real-world precision demands. To investigate this limitation, we benchmark a range of multimodal large language models (MLLMs) across the full perception-planning-execution loop, revealing persistent challenges in instruction-following under realistic constraints.