Eén om ze allemaal te regeren: natuurlijke taal om communicatie, perceptie en actie te verbinden.

One to rule them all: natural language to bind communication, perception and action

November 22, 2024

Auteurs: Simone Colombani, Dimitri Ognibene, Giuseppe Boccignone

cs.AI

Samenvatting

De laatste jaren heeft onderzoek op het gebied van mens-robot interactie zich gericht op het ontwikkelen van robots die in staat zijn complexe menselijke instructies te begrijpen en taken uit te voeren in dynamische en diverse omgevingen. Deze systemen hebben een breed scala aan toepassingen, van persoonlijke assistentie tot industriële robotica, waarbij de nadruk ligt op het belang van robots die flexibel, natuurlijk en veilig met mensen kunnen communiceren. Dit artikel presenteert een geavanceerde architectuur voor robotactieplanning die communicatie, perceptie en planning integreert met Grote Taalmodellen (GTM's). Ons systeem is ontworpen om commando's uitgedrukt in natuurlijke taal te vertalen naar uitvoerbare robotacties, waarbij omgevingsinformatie wordt opgenomen en plannen dynamisch worden bijgewerkt op basis van realtime feedback. De Planner Module vormt de kern van het systeem waar GTM's die zijn ingebed in een aangepast ReAct-framework worden gebruikt om gebruikerscommando's te interpreteren en uit te voeren. Door gebruik te maken van hun uitgebreide vooraf getrainde kennis kunnen GTM's gebruikersverzoeken effectief verwerken zonder de noodzaak om nieuwe kennis over de veranderende omgeving te introduceren. Het aangepaste ReAct-framework verbetert verder de uitvoeringsruimte door realtime omgevingsperceptie en de resultaten van fysieke acties te bieden. Door robuuste en dynamische semantische kaartrepresentaties als grafieken te combineren met besturingscomponenten en foutverklaringen, verbetert deze architectuur de aanpasbaarheid van een robot, taakuitvoering en naadloze samenwerking met menselijke gebruikers in gedeelde en dynamische omgevingen. Door de integratie van continue feedbacklussen met de omgeving kan het systeem het plan dynamisch aanpassen om onverwachte veranderingen op te vangen, waardoor de robot beter in staat is taken uit te voeren. Door gebruik te maken van een dataset van eerdere ervaringen is het mogelijk gedetailleerde feedback te geven over de mislukking. Het bijwerken van de GTM-context van de volgende iteratie met suggesties over hoe het probleem kan worden overwonnen.

English

In recent years, research in the area of human-robot interaction has focused on developing robots capable of understanding complex human instructions and performing tasks in dynamic and diverse environments. These systems have a wide range of applications, from personal assistance to industrial robotics, emphasizing the importance of robots interacting flexibly, naturally and safely with humans. This paper presents an advanced architecture for robotic action planning that integrates communication, perception, and planning with Large Language Models (LLMs). Our system is designed to translate commands expressed in natural language into executable robot actions, incorporating environmental information and dynamically updating plans based on real-time feedback. The Planner Module is the core of the system where LLMs embedded in a modified ReAct framework are employed to interpret and carry out user commands. By leveraging their extensive pre-trained knowledge, LLMs can effectively process user requests without the need to introduce new knowledge on the changing environment. The modified ReAct framework further enhances the execution space by providing real-time environmental perception and the outcomes of physical actions. By combining robust and dynamic semantic map representations as graphs with control components and failure explanations, this architecture enhances a robot adaptability, task execution, and seamless collaboration with human users in shared and dynamic environments. Through the integration of continuous feedback loops with the environment the system can dynamically adjusts the plan to accommodate unexpected changes, optimizing the robot ability to perform tasks. Using a dataset of previous experience is possible to provide detailed feedback about the failure. Updating the LLMs context of the next iteration with suggestion on how to overcame the issue.