ThinkGrasp : Un système vision-langage pour la préhension stratégique de pièces dans un environnement encombré

ThinkGrasp: A Vision-Language System for Strategic Part Grasping in Clutter

July 16, 2024

Auteurs: Yaoyao Qian, Xupeng Zhu, Ondrej Biza, Shuo Jiang, Linfeng Zhao, Haojie Huang, Yu Qi, Robert Platt

cs.AI

Résumé

La préhension robotique dans des environnements encombrés reste un défi majeur en raison des occlusions et des arrangements complexes d'objets. Nous avons développé ThinkGrasp, un système de préhension vision-langage plug-and-play qui exploite le raisonnement contextuel avancé de GPT-4o pour élaborer des stratégies de préhension dans des environnements fortement encombrés. ThinkGrasp est capable d'identifier et de générer efficacement des poses de préhension pour les objets cibles, même lorsqu'ils sont fortement obstrués ou presque invisibles, en utilisant un langage orienté vers un objectif pour guider l'élimination des objets obstructifs. Cette approche dévoile progressivement l'objet cible et finit par le saisir en quelques étapes avec un taux de réussite élevé. Dans des expériences à la fois simulées et réelles, ThinkGrasp a atteint un taux de réussite élevé et a surpassé de manière significative les méthodes de pointe dans des environnements fortement encombrés ou avec des objets divers et inconnus, démontrant ainsi de solides capacités de généralisation.

English

Robotic grasping in cluttered environments remains a significant challenge due to occlusions and complex object arrangements. We have developed ThinkGrasp, a plug-and-play vision-language grasping system that makes use of GPT-4o's advanced contextual reasoning for heavy clutter environment grasping strategies. ThinkGrasp can effectively identify and generate grasp poses for target objects, even when they are heavily obstructed or nearly invisible, by using goal-oriented language to guide the removal of obstructing objects. This approach progressively uncovers the target object and ultimately grasps it with a few steps and a high success rate. In both simulated and real experiments, ThinkGrasp achieved a high success rate and significantly outperformed state-of-the-art methods in heavily cluttered environments or with diverse unseen objects, demonstrating strong generalization capabilities.