ThinkGrasp: Um Sistema Visão-Linguagem para Agarrar Partes Estratégicas em Meio à Desordem
ThinkGrasp: A Vision-Language System for Strategic Part Grasping in Clutter
July 16, 2024
Autores: Yaoyao Qian, Xupeng Zhu, Ondrej Biza, Shuo Jiang, Linfeng Zhao, Haojie Huang, Yu Qi, Robert Platt
cs.AI
Resumo
A manipulação robótica em ambientes com muita desordem continua a ser um desafio significativo devido a oclusões e arranjos complexos de objetos. Desenvolvemos o ThinkGrasp, um sistema de manipulação visão-linguagem pronto para uso que faz uso do raciocínio contextual avançado do GPT-4o para estratégias de manipulação em ambientes com muita desordem. O ThinkGrasp pode identificar e gerar efetivamente poses de agarre para objetos-alvo, mesmo quando estão fortemente obstruídos ou quase invisíveis, utilizando linguagem orientada por objetivos para guiar a remoção de objetos obstrutivos. Esta abordagem descobre progressivamente o objeto-alvo e, por fim, o agarra com poucos passos e uma alta taxa de sucesso. Em experimentos simulados e reais, o ThinkGrasp alcançou uma alta taxa de sucesso e superou significativamente os métodos de ponta em ambientes com muita desordem ou com objetos diversos não vistos, demonstrando fortes capacidades de generalização.
English
Robotic grasping in cluttered environments remains a significant challenge
due to occlusions and complex object arrangements. We have developed
ThinkGrasp, a plug-and-play vision-language grasping system that makes use of
GPT-4o's advanced contextual reasoning for heavy clutter environment grasping
strategies. ThinkGrasp can effectively identify and generate grasp poses for
target objects, even when they are heavily obstructed or nearly invisible, by
using goal-oriented language to guide the removal of obstructing objects. This
approach progressively uncovers the target object and ultimately grasps it with
a few steps and a high success rate. In both simulated and real experiments,
ThinkGrasp achieved a high success rate and significantly outperformed
state-of-the-art methods in heavily cluttered environments or with diverse
unseen objects, demonstrating strong generalization capabilities.