ROS-LLM：タスクフィードバックと構造化推論を備えた具身AIのためのROSフレームワーク

要旨

非専門家による直感的なロボットプログラミングのためのフレームワークを提案します。本システムは、自然言語プロンプトとRobot Operating System（ROS）からの文脈情報を活用し、大規模言語モデル（LLM）を統合することで、非専門家がチャットインターフェースを通じてシステムにタスク要件を伝えることを可能にします。本フレームワークの主な特徴は以下の通りです：ROSと多数のオープンソースおよび商用LLMに接続されたAIエージェントの統合、LLM出力からの動作の自動抽出とROSアクション/サービスの実行、3つの動作モード（シーケンス、ビヘイビアツリー、ステートマシン）のサポート、可能なアクションのライブラリに新しいロボットアクションを追加するための模倣学習、人間と環境からのフィードバックによるLLMのリフレクション。広範な実験により、本フレームワークの堅牢性、拡張性、多様なシナリオ（長期タスク、テーブルトップ再配置、遠隔監視制御など）での汎用性が実証されました。本フレームワークの採用を促進し、結果の再現を支援するため、コードをオープンソースとして公開しています。以下のURLからアクセスできます：https://github.com/huawei-noah/HEBO/tree/master/ROSLLM。

English

We present a framework for intuitive robot programming by non-experts, leveraging natural language prompts and contextual information from the Robot Operating System (ROS). Our system integrates large language models (LLMs), enabling non-experts to articulate task requirements to the system through a chat interface. Key features of the framework include: integration of ROS with an AI agent connected to a plethora of open-source and commercial LLMs, automatic extraction of a behavior from the LLM output and execution of ROS actions/services, support for three behavior modes (sequence, behavior tree, state machine), imitation learning for adding new robot actions to the library of possible actions, and LLM reflection via human and environment feedback. Extensive experiments validate the framework, showcasing robustness, scalability, and versatility in diverse scenarios, including long-horizon tasks, tabletop rearrangements, and remote supervisory control. To facilitate the adoption of our framework and support the reproduction of our results, we have made our code open-source. You can access it at: https://github.com/huawei-noah/HEBO/tree/master/ROSLLM.

ROS-LLM：タスクフィードバックと構造化推論を備えた具身AIのためのROSフレームワーク

ROS-LLM: A ROS framework for embodied AI with task feedback and structured reasoning

要旨

Summary

Support

Support