Один, чтобы править ими всеми: естественный язык для связи, восприятия и действия.

One to rule them all: natural language to bind communication, perception and action

November 22, 2024

Авторы: Simone Colombani, Dimitri Ognibene, Giuseppe Boccignone

cs.AI

Аннотация

В последние годы исследования в области взаимодействия человека с роботами сосредоточены на разработке роботов, способных понимать сложные человеческие инструкции и выполнять задачи в динамичных и разнообразных средах. Эти системы имеют широкий спектр применений, от личной помощи до промышленной робототехники, подчеркивая важность гибкого, естественного и безопасного взаимодействия роботов с людьми. В данной статье представлена передовая архитектура для планирования действий роботов, которая интегрирует коммуникацию, восприятие и планирование с Моделями Больших Языковых Моделей (LLM). Наша система разработана для того, чтобы переводить команды, выраженные естественным языком, в исполнимые действия робота, интегрируя информацию об окружающей среде и динамически обновляя планы на основе обратной связи в реальном времени. Модуль Планирования является ядром системы, где LLM, встроенные в модифицированную структуру ReAct, используются для интерпретации и выполнения команд пользователей. Используя свои обширные предварительно обученные знания, LLM могут эффективно обрабатывать запросы пользователей без необходимости внедрения новых знаний о изменяющейся среде. Модифицированная структура ReAct дополнительно расширяет пространство выполнения, предоставляя восприятие окружающей среды в реальном времени и результаты физических действий. Путем сочетания надежных и динамических семантических карт в виде графов с управляющими компонентами и объяснениями неудач, данная архитектура улучшает адаптивность робота, выполнение задач и бесшовное взаимодействие с людьми в общих и динамичных средах. Через интеграцию непрерывных циклов обратной связи с окружающей средой система может динамически корректировать план для учета неожиданных изменений, оптимизируя способность робота выполнять задачи. С использованием набора данных предыдущего опыта возможно предоставление подробной обратной связи о неудаче. Обновляя контекст LLM для следующей итерации с предложениями о том, как преодолеть проблему.

English

In recent years, research in the area of human-robot interaction has focused on developing robots capable of understanding complex human instructions and performing tasks in dynamic and diverse environments. These systems have a wide range of applications, from personal assistance to industrial robotics, emphasizing the importance of robots interacting flexibly, naturally and safely with humans. This paper presents an advanced architecture for robotic action planning that integrates communication, perception, and planning with Large Language Models (LLMs). Our system is designed to translate commands expressed in natural language into executable robot actions, incorporating environmental information and dynamically updating plans based on real-time feedback. The Planner Module is the core of the system where LLMs embedded in a modified ReAct framework are employed to interpret and carry out user commands. By leveraging their extensive pre-trained knowledge, LLMs can effectively process user requests without the need to introduce new knowledge on the changing environment. The modified ReAct framework further enhances the execution space by providing real-time environmental perception and the outcomes of physical actions. By combining robust and dynamic semantic map representations as graphs with control components and failure explanations, this architecture enhances a robot adaptability, task execution, and seamless collaboration with human users in shared and dynamic environments. Through the integration of continuous feedback loops with the environment the system can dynamically adjusts the plan to accommodate unexpected changes, optimizing the robot ability to perform tasks. Using a dataset of previous experience is possible to provide detailed feedback about the failure. Updating the LLMs context of the next iteration with suggestion on how to overcame the issue.