ROS-LLM: Un marco de ROS para IA encarnada con retroalimentación de tareas y razonamiento estructurado

ROS-LLM: A ROS framework for embodied AI with task feedback and structured reasoning

June 28, 2024

Autores: Christopher E. Mower, Yuhui Wan, Hongzhan Yu, Antoine Grosnit, Jonas Gonzalez-Billandon, Matthieu Zimmer, Jinlong Wang, Xinyu Zhang, Yao Zhao, Anbang Zhai, Puze Liu, Davide Tateo, Cesar Cadena, Marco Hutter, Jan Peters, Guangjian Tian, Yuzheng Zhuang, Kun Shao, Xingyue Quan, Jianye Hao, Jun Wang, Haitham Bou-Ammar

cs.AI

Resumen

Presentamos un marco para la programación intuitiva de robots por parte de no expertos, aprovechando indicaciones en lenguaje natural e información contextual del Robot Operating System (ROS). Nuestro sistema integra modelos de lenguaje de gran escala (LLMs), permitiendo que los no expertos articulen los requisitos de las tareas al sistema a través de una interfaz de chat. Las características clave del marco incluyen: integración de ROS con un agente de IA conectado a una amplia gama de LLMs de código abierto y comerciales, extracción automática de un comportamiento a partir de la salida del LLM y ejecución de acciones/servicios de ROS, soporte para tres modos de comportamiento (secuencia, árbol de comportamiento, máquina de estados), aprendizaje por imitación para agregar nuevas acciones de robots a la biblioteca de acciones posibles, y reflexión del LLM mediante retroalimentación humana y del entorno. Experimentos extensos validan el marco, demostrando robustez, escalabilidad y versatilidad en diversos escenarios, incluyendo tareas de largo plazo, reordenamientos en mesas y control supervisorio remoto. Para facilitar la adopción de nuestro marco y apoyar la reproducción de nuestros resultados, hemos hecho nuestro código de código abierto. Puedes acceder a él en: https://github.com/huawei-noah/HEBO/tree/master/ROSLLM.

English

We present a framework for intuitive robot programming by non-experts, leveraging natural language prompts and contextual information from the Robot Operating System (ROS). Our system integrates large language models (LLMs), enabling non-experts to articulate task requirements to the system through a chat interface. Key features of the framework include: integration of ROS with an AI agent connected to a plethora of open-source and commercial LLMs, automatic extraction of a behavior from the LLM output and execution of ROS actions/services, support for three behavior modes (sequence, behavior tree, state machine), imitation learning for adding new robot actions to the library of possible actions, and LLM reflection via human and environment feedback. Extensive experiments validate the framework, showcasing robustness, scalability, and versatility in diverse scenarios, including long-horizon tasks, tabletop rearrangements, and remote supervisory control. To facilitate the adoption of our framework and support the reproduction of our results, we have made our code open-source. You can access it at: https://github.com/huawei-noah/HEBO/tree/master/ROSLLM.