すべてを統べるもの：自然言語によるコミュニケーション、知覚、行動の結びつけ

One to rule them all: natural language to bind communication, perception and action

November 22, 2024

著者: Simone Colombani, Dimitri Ognibene, Giuseppe Boccignone

cs.AI

要旨

近年、人間とロボットの相互作用の研究は、複雑な人間の指示を理解し、動的かつ多様な環境でタスクを実行できるロボットの開発に焦点を当てています。これらのシステムは、個人支援から産業用ロボティクスまで幅広い応用があり、柔軟かつ自然で安全に人間と対話するロボットの重要性が強調されています。本論文では、大規模言語モデル（LLMs）を用いたコミュニケーション、知覚、計画を統合したロボットのアクションプランニングの高度なアーキテクチャを提案しています。当システムは、自然言語で表現されたコマンドを実行可能なロボットアクションに変換し、環境情報を組み込み、リアルタイムのフィードバックに基づいて計画を動的に更新します。プランナーモジュールは、LLMsを組み込んだ改良されたReActフレームワークを使用してユーザーコマンドを解釈し実行するシステムの中核です。事前にトレーニングされた幅広い知識を活用することで、LLMsは環境の変化に新しい知識を導入する必要なく、ユーザーのリクエストを効果的に処理できます。改良されたReActフレームワークは、リアルタイムの環境認識と物理アクションの結果を提供することで、実行空間をさらに拡張します。堅牢で動的な意味マップ表現をグラフとして組み合わせ、制御コンポーネントと失敗の説明と共に、このアーキテクチャは、ロボットの適応性、タスク実行能力、および共有された動的環境での人間ユーザーとのシームレスな協力を向上させます。継続的なフィードバックループを環境と統合することで、システムは予期せぬ変更に対応するために計画を動的に調整し、ロボットのタスク実行能力を最適化します。過去の経験データセットを使用して、失敗に関する詳細なフィードバックを提供することが可能であり、次のイテレーションのLLMsコンテキストを更新して問題を克服する方法の提案ができます。

English

In recent years, research in the area of human-robot interaction has focused on developing robots capable of understanding complex human instructions and performing tasks in dynamic and diverse environments. These systems have a wide range of applications, from personal assistance to industrial robotics, emphasizing the importance of robots interacting flexibly, naturally and safely with humans. This paper presents an advanced architecture for robotic action planning that integrates communication, perception, and planning with Large Language Models (LLMs). Our system is designed to translate commands expressed in natural language into executable robot actions, incorporating environmental information and dynamically updating plans based on real-time feedback. The Planner Module is the core of the system where LLMs embedded in a modified ReAct framework are employed to interpret and carry out user commands. By leveraging their extensive pre-trained knowledge, LLMs can effectively process user requests without the need to introduce new knowledge on the changing environment. The modified ReAct framework further enhances the execution space by providing real-time environmental perception and the outcomes of physical actions. By combining robust and dynamic semantic map representations as graphs with control components and failure explanations, this architecture enhances a robot adaptability, task execution, and seamless collaboration with human users in shared and dynamic environments. Through the integration of continuous feedback loops with the environment the system can dynamically adjusts the plan to accommodate unexpected changes, optimizing the robot ability to perform tasks. Using a dataset of previous experience is possible to provide detailed feedback about the failure. Updating the LLMs context of the next iteration with suggestion on how to overcame the issue.