Uso Creativo degli Strumenti Robotici con Modelli Linguistici di Grande Dimensione

Creative Robot Tool Use with Large Language Models

October 19, 2023

Autori: Mengdi Xu, Peide Huang, Wenhao Yu, Shiqi Liu, Xilun Zhang, Yaru Niu, Tingnan Zhang, Fei Xia, Jie Tan, Ding Zhao

cs.AI

Abstract

L'uso di strumenti è un segno distintivo dell'intelligenza avanzata, esemplificato sia nel comportamento animale che nelle capacità robotiche. Questo articolo indaga la fattibilità di dotare i robot della capacità di utilizzare strumenti in modo creativo in compiti che coinvolgono vincoli fisici impliciti e pianificazione a lungo termine. Sfruttando i Large Language Models (LLM), sviluppiamo RoboTool, un sistema che accetta istruzioni in linguaggio naturale e produce codice eseguibile per il controllo dei robot in ambienti sia simulati che reali. RoboTool incorpora quattro componenti fondamentali: (i) un "Analizzatore" che interpreta il linguaggio naturale per individuare i concetti chiave relativi al compito, (ii) un "Pianificatore" che genera strategie complete basate sull'input linguistico e sui concetti chiave, (iii) un "Calcolatore" che determina i parametri per ciascuna abilità, e (iv) un "Codificatore" che traduce questi piani in codice Python eseguibile. I nostri risultati dimostrano che RoboTool non solo è in grado di comprendere vincoli fisici espliciti o impliciti e fattori ambientali, ma dimostra anche un uso creativo degli strumenti. A differenza dei metodi tradizionali di Task and Motion Planning (TAMP) che si basano su ottimizzazione esplicita, il nostro sistema basato su LLM offre una soluzione più flessibile, efficiente e user-friendly per compiti robotici complessi. Attraverso esperimenti estensivi, validiamo che RoboTool è competente nel gestire compiti che altrimenti sarebbero irrealizzabili senza l'uso creativo degli strumenti, ampliando così le capacità dei sistemi robotici. Le demo sono disponibili sulla nostra pagina del progetto: https://creative-robotool.github.io/.

English

Tool use is a hallmark of advanced intelligence, exemplified in both animal behavior and robotic capabilities. This paper investigates the feasibility of imbuing robots with the ability to creatively use tools in tasks that involve implicit physical constraints and long-term planning. Leveraging Large Language Models (LLMs), we develop RoboTool, a system that accepts natural language instructions and outputs executable code for controlling robots in both simulated and real-world environments. RoboTool incorporates four pivotal components: (i) an "Analyzer" that interprets natural language to discern key task-related concepts, (ii) a "Planner" that generates comprehensive strategies based on the language input and key concepts, (iii) a "Calculator" that computes parameters for each skill, and (iv) a "Coder" that translates these plans into executable Python code. Our results show that RoboTool can not only comprehend explicit or implicit physical constraints and environmental factors but also demonstrate creative tool use. Unlike traditional Task and Motion Planning (TAMP) methods that rely on explicit optimization, our LLM-based system offers a more flexible, efficient, and user-friendly solution for complex robotics tasks. Through extensive experiments, we validate that RoboTool is proficient in handling tasks that would otherwise be infeasible without the creative use of tools, thereby expanding the capabilities of robotic systems. Demos are available on our project page: https://creative-robotool.github.io/.