Embodied-RAG: Allgemeines nicht-parametrisches verkörpertes Gedächtnis für Abruf und Generierung

Embodied-RAG: General non-parametric Embodied Memory for Retrieval and Generation

September 26, 2024

Autoren: Quanting Xie, So Yeon Min, Tianyi Zhang, Aarav Bajaj, Ruslan Salakhutdinov, Matthew Johnson-Roberson, Yonatan Bisk

cs.AI

Zusammenfassung

Es gibt keine Grenze dafür, wie viel ein Roboter erkunden und lernen kann, aber all dieses Wissen muss durchsuchbar und handlungsfähig sein. Innerhalb der Sprachforschung hat sich die Methode des abgerufenen erweiterten Generierens (RAG) als das Arbeitspferd des groß angelegten nicht-parametrischen Wissens erwiesen. Allerdings lassen sich bestehende Techniken nicht direkt auf den verkörperten Bereich übertragen, der multimodal ist, Daten stark korreliert sind und die Wahrnehmung Abstraktion erfordert. Um diese Herausforderungen anzugehen, stellen wir Embodied-RAG vor, ein Framework, das das Grundmodell eines verkörperten Agenten mit einem nicht-parametrischen Speichersystem erweitert, das in der Lage ist, hierarchisches Wissen sowohl für die Navigation als auch für die Sprachgenerierung autonom aufzubauen. Embodied-RAG bewältigt eine breite Palette von räumlichen und semantischen Auflösungen in verschiedenen Umgebungen und Abfragetypen, sei es für ein bestimmtes Objekt oder eine ganzheitliche Beschreibung der Atmosphäre. Im Kern ist der Speicher von Embodied-RAG als semantisches Waldsystem strukturiert, der Sprachbeschreibungen auf verschiedenen Detailebenen speichert. Diese hierarchische Organisation ermöglicht es dem System, kontextsensitive Ausgaben effizient über verschiedene Roboterplattformen zu generieren. Wir zeigen, dass Embodied-RAG RAG erfolgreich mit dem Bereich der Robotik verbindet, indem es über 200 Erklärungs- und Navigationsabfragen in 19 Umgebungen erfolgreich bewältigt, was sein Potenzial als allgemeines nicht-parametrisches System für verkörperte Agenten unterstreicht.

English

There is no limit to how much a robot might explore and learn, but all of that knowledge needs to be searchable and actionable. Within language research, retrieval augmented generation (RAG) has become the workhouse of large-scale non-parametric knowledge, however existing techniques do not directly transfer to the embodied domain, which is multimodal, data is highly correlated, and perception requires abstraction. To address these challenges, we introduce Embodied-RAG, a framework that enhances the foundational model of an embodied agent with a non-parametric memory system capable of autonomously constructing hierarchical knowledge for both navigation and language generation. Embodied-RAG handles a full range of spatial and semantic resolutions across diverse environments and query types, whether for a specific object or a holistic description of ambiance. At its core, Embodied-RAG's memory is structured as a semantic forest, storing language descriptions at varying levels of detail. This hierarchical organization allows the system to efficiently generate context-sensitive outputs across different robotic platforms. We demonstrate that Embodied-RAG effectively bridges RAG to the robotics domain, successfully handling over 200 explanation and navigation queries across 19 environments, highlighting its promise for general-purpose non-parametric system for embodied agents.