Embodied-RAG: Algemene niet-parametrische Embodied Memory voor Ophalen en Generatie

Embodied-RAG: General non-parametric Embodied Memory for Retrieval and Generation

September 26, 2024

Auteurs: Quanting Xie, So Yeon Min, Tianyi Zhang, Aarav Bajaj, Ruslan Salakhutdinov, Matthew Johnson-Roberson, Yonatan Bisk

cs.AI

Samenvatting

Er is geen limiet aan hoeveel een robot kan verkennen en leren, maar al die kennis moet doorzoekbaar en bruikbaar zijn. Binnen het taalonderzoek is retrieval augmented generation (RAG) de werkpaard geworden van grootschalige niet-parametrische kennis, echter bestaande technieken kunnen niet direct worden overgebracht naar het belichaamde domein, dat multimodaal is, waar data sterk gecorreleerd is en waar perceptie abstractie vereist. Om deze uitdagingen aan te pakken, introduceren we Embodied-RAG, een raamwerk dat het fundament van een belichaamde agent versterkt met een niet-parametrisch geheugensysteem dat autonoom hiërarchische kennis kan opbouwen voor zowel navigatie als taalgeneratie. Embodied-RAG behandelt een volledig scala aan ruimtelijke en semantische resoluties over diverse omgevingen en soorten vragen, of het nu gaat om een specifiek object of een holistische beschrijving van de ambiance. In de kern is het geheugen van Embodied-RAG gestructureerd als een semantisch bos, waarbij taalbeschrijvingen op verschillende detailniveaus worden opgeslagen. Deze hiërarchische organisatie stelt het systeem in staat om efficiënt contextgevoelige uitvoer te genereren over verschillende robotplatforms. We tonen aan dat Embodied-RAG effectief RAG verbindt met het robotica-domein, met succes meer dan 200 uitleg- en navigatievragen behandelt in 19 omgevingen, waarbij de belofte wordt benadrukt van een algemeen niet-parametrisch systeem voor belichaamde agenten.

English

There is no limit to how much a robot might explore and learn, but all of that knowledge needs to be searchable and actionable. Within language research, retrieval augmented generation (RAG) has become the workhouse of large-scale non-parametric knowledge, however existing techniques do not directly transfer to the embodied domain, which is multimodal, data is highly correlated, and perception requires abstraction. To address these challenges, we introduce Embodied-RAG, a framework that enhances the foundational model of an embodied agent with a non-parametric memory system capable of autonomously constructing hierarchical knowledge for both navigation and language generation. Embodied-RAG handles a full range of spatial and semantic resolutions across diverse environments and query types, whether for a specific object or a holistic description of ambiance. At its core, Embodied-RAG's memory is structured as a semantic forest, storing language descriptions at varying levels of detail. This hierarchical organization allows the system to efficiently generate context-sensitive outputs across different robotic platforms. We demonstrate that Embodied-RAG effectively bridges RAG to the robotics domain, successfully handling over 200 explanation and navigation queries across 19 environments, highlighting its promise for general-purpose non-parametric system for embodied agents.