Einer, um sie alle zu beherrschen: natürliche Sprache zur Verknüpfung von Kommunikation, Wahrnehmung und Handlung.

One to rule them all: natural language to bind communication, perception and action

November 22, 2024

Autoren: Simone Colombani, Dimitri Ognibene, Giuseppe Boccignone

cs.AI

Zusammenfassung

In den letzten Jahren hat die Forschung im Bereich der Mensch-Roboter-Interaktion den Fokus darauf gelegt, Roboter zu entwickeln, die komplexe menschliche Anweisungen verstehen und Aufgaben in dynamischen und vielfältigen Umgebungen ausführen können. Diese Systeme haben eine breite Palette von Anwendungen, von persönlicher Assistenz bis hin zur industriellen Robotik, wobei die Bedeutung betont wird, dass Roboter flexibel, natürlich und sicher mit Menschen interagieren. Dieser Artikel stellt eine fortschrittliche Architektur für die robotische Aktionsplanung vor, die Kommunikation, Wahrnehmung und Planung mit Large Language Models (LLMs) integriert. Unser System ist darauf ausgelegt, Befehle, die in natürlicher Sprache ausgedrückt sind, in ausführbare Roboteraktionen zu übersetzen, Umgebungsinformationen zu integrieren und Pläne basierend auf Echtzeit-Feedback dynamisch zu aktualisieren. Das Planungsmodul ist der Kern des Systems, in dem LLMs, die in ein modifiziertes ReAct-Framework eingebettet sind, eingesetzt werden, um Benutzerbefehle zu interpretieren und auszuführen. Durch die Nutzung ihres umfangreichen vorab trainierten Wissens können LLMs Benutzeranfragen effektiv verarbeiten, ohne neues Wissen über die sich ändernde Umgebung einführen zu müssen. Das modifizierte ReAct-Framework erweitert den Ausführungsraum weiter, indem es Echtzeit-Umwahrnehmung und die Ergebnisse physischer Handlungen bereitstellt. Durch die Kombination robuster und dynamischer semantischer Kartenrepräsentationen als Graphen mit Steuerungskomponenten und Fehlererklärungen verbessert diese Architektur die Anpassungsfähigkeit des Roboters, die Aufgabenausführung und die nahtlose Zusammenarbeit mit menschlichen Benutzern in gemeinsamen und dynamischen Umgebungen. Durch die Integration von kontinuierlichen Feedback-Schleifen mit der Umgebung kann das System den Plan dynamisch an unerwartete Änderungen anpassen, um die Fähigkeit des Roboters zur Aufgabenausführung zu optimieren. Durch die Verwendung eines Datensatzes früherer Erfahrungen ist es möglich, detailliertes Feedback über das Versagen bereitzustellen und den Kontext der LLMs für die nächste Iteration mit Vorschlägen zur Überwindung des Problems zu aktualisieren.

English

In recent years, research in the area of human-robot interaction has focused on developing robots capable of understanding complex human instructions and performing tasks in dynamic and diverse environments. These systems have a wide range of applications, from personal assistance to industrial robotics, emphasizing the importance of robots interacting flexibly, naturally and safely with humans. This paper presents an advanced architecture for robotic action planning that integrates communication, perception, and planning with Large Language Models (LLMs). Our system is designed to translate commands expressed in natural language into executable robot actions, incorporating environmental information and dynamically updating plans based on real-time feedback. The Planner Module is the core of the system where LLMs embedded in a modified ReAct framework are employed to interpret and carry out user commands. By leveraging their extensive pre-trained knowledge, LLMs can effectively process user requests without the need to introduce new knowledge on the changing environment. The modified ReAct framework further enhances the execution space by providing real-time environmental perception and the outcomes of physical actions. By combining robust and dynamic semantic map representations as graphs with control components and failure explanations, this architecture enhances a robot adaptability, task execution, and seamless collaboration with human users in shared and dynamic environments. Through the integration of continuous feedback loops with the environment the system can dynamically adjusts the plan to accommodate unexpected changes, optimizing the robot ability to perform tasks. Using a dataset of previous experience is possible to provide detailed feedback about the failure. Updating the LLMs context of the next iteration with suggestion on how to overcame the issue.