Um para governar todos: linguagem natural para unir comunicação, percepção e ação

One to rule them all: natural language to bind communication, perception and action

November 22, 2024

Autores: Simone Colombani, Dimitri Ognibene, Giuseppe Boccignone

cs.AI

Resumo

Nos últimos anos, a pesquisa na área de interação humano-robô tem se concentrado no desenvolvimento de robôs capazes de compreender instruções humanas complexas e realizar tarefas em ambientes dinâmicos e diversos. Esses sistemas possuem uma ampla gama de aplicações, desde assistência pessoal até robótica industrial, enfatizando a importância dos robôs interagirem de forma flexível, natural e segura com os humanos. Este artigo apresenta uma arquitetura avançada para o planejamento de ações robóticas que integra comunicação, percepção e planejamento com Modelos de Linguagem Grandes (LLMs). Nosso sistema é projetado para traduzir comandos expressos em linguagem natural em ações executáveis pelo robô, incorporando informações ambientais e atualizando dinamicamente os planos com base no feedback em tempo real. O Módulo de Planejamento é o núcleo do sistema, onde os LLMs incorporados em um framework ReAct modificado são empregados para interpretar e executar comandos do usuário. Ao aproveitar seu amplo conhecimento pré-treinado, os LLMs podem processar efetivamente as solicitações do usuário sem a necessidade de introduzir novos conhecimentos sobre o ambiente em mudança. O framework ReAct modificado ainda aprimora o espaço de execução fornecendo percepção ambiental em tempo real e os resultados das ações físicas. Ao combinar representações robustas e dinâmicas de mapas semânticos como grafos com componentes de controle e explicações de falhas, esta arquitetura aprimora a adaptabilidade do robô, a execução de tarefas e a colaboração contínua com os usuários humanos em ambientes compartilhados e dinâmicos. Através da integração de loops de feedback contínuos com o ambiente, o sistema pode ajustar dinamicamente o plano para acomodar mudanças inesperadas, otimizando a capacidade do robô de realizar tarefas. Utilizando um conjunto de dados de experiências anteriores, é possível fornecer feedback detalhado sobre a falha. Atualizando o contexto dos LLMs na próxima iteração com sugestões sobre como superar o problema.

English

In recent years, research in the area of human-robot interaction has focused on developing robots capable of understanding complex human instructions and performing tasks in dynamic and diverse environments. These systems have a wide range of applications, from personal assistance to industrial robotics, emphasizing the importance of robots interacting flexibly, naturally and safely with humans. This paper presents an advanced architecture for robotic action planning that integrates communication, perception, and planning with Large Language Models (LLMs). Our system is designed to translate commands expressed in natural language into executable robot actions, incorporating environmental information and dynamically updating plans based on real-time feedback. The Planner Module is the core of the system where LLMs embedded in a modified ReAct framework are employed to interpret and carry out user commands. By leveraging their extensive pre-trained knowledge, LLMs can effectively process user requests without the need to introduce new knowledge on the changing environment. The modified ReAct framework further enhances the execution space by providing real-time environmental perception and the outcomes of physical actions. By combining robust and dynamic semantic map representations as graphs with control components and failure explanations, this architecture enhances a robot adaptability, task execution, and seamless collaboration with human users in shared and dynamic environments. Through the integration of continuous feedback loops with the environment the system can dynamically adjusts the plan to accommodate unexpected changes, optimizing the robot ability to perform tasks. Using a dataset of previous experience is possible to provide detailed feedback about the failure. Updating the LLMs context of the next iteration with suggestion on how to overcame the issue.