ROS-LLM: ROS-фреймворк для инкорпорированного искусственного интеллекта с обратной связью по задаче и структурированным рассуждением.

ROS-LLM: A ROS framework for embodied AI with task feedback and structured reasoning

June 28, 2024

Авторы: Christopher E. Mower, Yuhui Wan, Hongzhan Yu, Antoine Grosnit, Jonas Gonzalez-Billandon, Matthieu Zimmer, Jinlong Wang, Xinyu Zhang, Yao Zhao, Anbang Zhai, Puze Liu, Davide Tateo, Cesar Cadena, Marco Hutter, Jan Peters, Guangjian Tian, Yuzheng Zhuang, Kun Shao, Xingyue Quan, Jianye Hao, Jun Wang, Haitham Bou-Ammar

cs.AI

Аннотация

Мы представляем фреймворк для интуитивного программирования роботов неспециалистами, используя естественноязыковые подсказки и контекстную информацию из Операционной Системы Роботов (ROS). Наша система интегрирует большие языковые модели (LLM), позволяя неспециалистам формулировать требования к задачам системе через чат-интерфейс. Основные особенности фреймворка включают: интеграцию ROS с искусственным интеллектом, подключенным к множеству открытых и коммерческих LLM, автоматическое извлечение поведения из вывода LLM и выполнение действий/сервисов ROS, поддержку трех режимов поведения (последовательность, дерево поведения, конечный автомат), обучение имитацией для добавления новых действий робота в библиотеку возможных действий, и отражение LLM через обратную связь человека и окружения. Обширные эксперименты подтверждают эффективность фреймворка, демонстрируя его надежность, масштабируемость и универсальность в различных сценариях, включая задачи с долгосрочным горизонтом, перестановки на столе и удаленное управление супервайзером. Для облегчения принятия нашего фреймворка и поддержки воспроизведения наших результатов, мы сделали наш код открытым. Вы можете получить доступ к нему по ссылке: https://github.com/huawei-noah/HEBO/tree/master/ROSLLM.

English

We present a framework for intuitive robot programming by non-experts, leveraging natural language prompts and contextual information from the Robot Operating System (ROS). Our system integrates large language models (LLMs), enabling non-experts to articulate task requirements to the system through a chat interface. Key features of the framework include: integration of ROS with an AI agent connected to a plethora of open-source and commercial LLMs, automatic extraction of a behavior from the LLM output and execution of ROS actions/services, support for three behavior modes (sequence, behavior tree, state machine), imitation learning for adding new robot actions to the library of possible actions, and LLM reflection via human and environment feedback. Extensive experiments validate the framework, showcasing robustness, scalability, and versatility in diverse scenarios, including long-horizon tasks, tabletop rearrangements, and remote supervisory control. To facilitate the adoption of our framework and support the reproduction of our results, we have made our code open-source. You can access it at: https://github.com/huawei-noah/HEBO/tree/master/ROSLLM.