Un pour les gouverner tous : langage naturel pour lier communication, perception et action

One to rule them all: natural language to bind communication, perception and action

November 22, 2024

Auteurs: Simone Colombani, Dimitri Ognibene, Giuseppe Boccignone

cs.AI

Résumé

Ces dernières années, la recherche dans le domaine de l'interaction homme-robot s'est concentrée sur le développement de robots capables de comprendre des instructions humaines complexes et d'accomplir des tâches dans des environnements dynamiques et diversifiés. Ces systèmes ont une large gamme d'applications, de l'assistance personnelle à la robotique industrielle, mettant en avant l'importance des robots interagissant de manière flexible, naturelle et sécurisée avec les humains. Cet article présente une architecture avancée pour la planification d'actions robotiques qui intègre la communication, la perception et la planification avec de grands modèles de langage (LLMs). Notre système est conçu pour traduire des commandes exprimées en langage naturel en actions robotiques exécutables, en incorporant des informations environnementales et en mettant à jour dynamiquement les plans en fonction des retours en temps réel. Le module de planification est le cœur du système où les LLMs intégrés dans un cadre ReAct modifié sont utilisés pour interpréter et exécuter les commandes des utilisateurs. En exploitant leur vaste connaissance pré-entraînée, les LLMs peuvent traiter efficacement les demandes des utilisateurs sans avoir besoin d'introduire de nouvelles connaissances sur l'environnement changeant. Le cadre ReAct modifié améliore davantage l'espace d'exécution en fournissant une perception environnementale en temps réel et les résultats des actions physiques. En combinant des représentations de cartes sémantiques robustes et dynamiques sous forme de graphes avec des composants de contrôle et des explications d'échec, cette architecture améliore l'adaptabilité du robot, l'exécution des tâches et la collaboration fluide avec les utilisateurs humains dans des environnements partagés et dynamiques. Grâce à l'intégration de boucles de rétroaction continues avec l'environnement, le système peut ajuster dynamiquement le plan pour accommoder des changements inattendus, optimisant la capacité du robot à effectuer des tâches. En utilisant un ensemble de données d'expériences antérieures, il est possible de fournir des retours détaillés sur l'échec. En mettant à jour le contexte des LLMs pour la prochaine itération avec des suggestions sur la façon de surmonter le problème.

English

In recent years, research in the area of human-robot interaction has focused on developing robots capable of understanding complex human instructions and performing tasks in dynamic and diverse environments. These systems have a wide range of applications, from personal assistance to industrial robotics, emphasizing the importance of robots interacting flexibly, naturally and safely with humans. This paper presents an advanced architecture for robotic action planning that integrates communication, perception, and planning with Large Language Models (LLMs). Our system is designed to translate commands expressed in natural language into executable robot actions, incorporating environmental information and dynamically updating plans based on real-time feedback. The Planner Module is the core of the system where LLMs embedded in a modified ReAct framework are employed to interpret and carry out user commands. By leveraging their extensive pre-trained knowledge, LLMs can effectively process user requests without the need to introduce new knowledge on the changing environment. The modified ReAct framework further enhances the execution space by providing real-time environmental perception and the outcomes of physical actions. By combining robust and dynamic semantic map representations as graphs with control components and failure explanations, this architecture enhances a robot adaptability, task execution, and seamless collaboration with human users in shared and dynamic environments. Through the integration of continuous feedback loops with the environment the system can dynamically adjusts the plan to accommodate unexpected changes, optimizing the robot ability to perform tasks. Using a dataset of previous experience is possible to provide detailed feedback about the failure. Updating the LLMs context of the next iteration with suggestion on how to overcame the issue.