ROS-LLM: Een ROS-framework voor belichaamde AI met taakfeedback en gestructureerd redeneren

ROS-LLM: A ROS framework for embodied AI with task feedback and structured reasoning

June 28, 2024

Auteurs: Christopher E. Mower, Yuhui Wan, Hongzhan Yu, Antoine Grosnit, Jonas Gonzalez-Billandon, Matthieu Zimmer, Jinlong Wang, Xinyu Zhang, Yao Zhao, Anbang Zhai, Puze Liu, Davide Tateo, Cesar Cadena, Marco Hutter, Jan Peters, Guangjian Tian, Yuzheng Zhuang, Kun Shao, Xingyue Quan, Jianye Hao, Jun Wang, Haitham Bou-Ammar

cs.AI

Samenvatting

We presenteren een raamwerk voor intuïtieve robotprogrammering door niet-experts, waarbij gebruik wordt gemaakt van natuurlijke taalprompts en contextuele informatie van het Robot Operating System (ROS). Ons systeem integreert grote taalmodellen (LLMs), waardoor niet-experts taakvereisten aan het systeem kunnen communiceren via een chatinterface. Belangrijke kenmerken van het raamwerk zijn: integratie van ROS met een AI-agent die verbonden is met een breed scala aan open-source en commerciële LLMs, automatische extractie van een gedrag uit de LLM-output en uitvoering van ROS-acties/services, ondersteuning voor drie gedragsmodi (sequentie, gedragsboom, toestandsmachine), imitatieleren voor het toevoegen van nieuwe robotacties aan de bibliotheek van mogelijke acties, en LLM-reflectie via menselijke en omgevingsfeedback. Uitgebreide experimenten valideren het raamwerk, waarbij robuustheid, schaalbaarheid en veelzijdigheid worden aangetoond in diverse scenario's, waaronder langetermijntaken, herschikkingen op tafelbladen en remote supervisory control. Om de adoptie van ons raamwerk te vergemakkelijken en de reproduceerbaarheid van onze resultaten te ondersteunen, hebben we onze code open-source gemaakt. U kunt deze vinden op: https://github.com/huawei-noah/HEBO/tree/master/ROSLLM.

English

We present a framework for intuitive robot programming by non-experts, leveraging natural language prompts and contextual information from the Robot Operating System (ROS). Our system integrates large language models (LLMs), enabling non-experts to articulate task requirements to the system through a chat interface. Key features of the framework include: integration of ROS with an AI agent connected to a plethora of open-source and commercial LLMs, automatic extraction of a behavior from the LLM output and execution of ROS actions/services, support for three behavior modes (sequence, behavior tree, state machine), imitation learning for adding new robot actions to the library of possible actions, and LLM reflection via human and environment feedback. Extensive experiments validate the framework, showcasing robustness, scalability, and versatility in diverse scenarios, including long-horizon tasks, tabletop rearrangements, and remote supervisory control. To facilitate the adoption of our framework and support the reproduction of our results, we have made our code open-source. You can access it at: https://github.com/huawei-noah/HEBO/tree/master/ROSLLM.