Embodied-RAG: Memoria incorporata generale non parametrica per il recupero e la generazione
Embodied-RAG: General non-parametric Embodied Memory for Retrieval and Generation
September 26, 2024
Autori: Quanting Xie, So Yeon Min, Tianyi Zhang, Aarav Bajaj, Ruslan Salakhutdinov, Matthew Johnson-Roberson, Yonatan Bisk
cs.AI
Abstract
Non c'è limite a quanto un robot possa esplorare e imparare, ma tutte quelle conoscenze devono essere ricercabili e utilizzabili. Nella ricerca linguistica, il recupero potenziato dalla generazione (RAG) è diventato il pilastro della conoscenza non parametrica su larga scala, tuttavia le tecniche esistenti non si trasferiscono direttamente nel dominio incorporato, che è multimodale, i dati sono altamente correlati e la percezione richiede astrazione.
Per affrontare queste sfide, presentiamo Embodied-RAG, un framework che potenzia il modello fondamentale di un agente incorporato con un sistema di memoria non parametrico in grado di costruire autonomamente conoscenze gerarchiche sia per la navigazione che per la generazione di linguaggio. Embodied-RAG gestisce una vasta gamma di risoluzioni spaziali e semantiche in diversi ambienti e tipi di query, sia per un oggetto specifico che per una descrizione olistica dell'ambiente. Al suo nucleo, la memoria di Embodied-RAG è strutturata come una foresta semantica, che memorizza descrizioni linguistiche a diversi livelli di dettaglio. Questa organizzazione gerarchica consente al sistema di generare in modo efficiente output sensibili al contesto su diverse piattaforme robotiche. Dimostriamo che Embodied-RAG collega efficacemente RAG al dominio della robotica, gestendo con successo oltre 200 query di spiegazione e navigazione in 19 ambienti, evidenziando il suo potenziale come sistema non parametrico generico per agenti incorporati.
English
There is no limit to how much a robot might explore and learn, but all of
that knowledge needs to be searchable and actionable. Within language research,
retrieval augmented generation (RAG) has become the workhouse of large-scale
non-parametric knowledge, however existing techniques do not directly transfer
to the embodied domain, which is multimodal, data is highly correlated, and
perception requires abstraction.
To address these challenges, we introduce Embodied-RAG, a framework that
enhances the foundational model of an embodied agent with a non-parametric
memory system capable of autonomously constructing hierarchical knowledge for
both navigation and language generation. Embodied-RAG handles a full range of
spatial and semantic resolutions across diverse environments and query types,
whether for a specific object or a holistic description of ambiance. At its
core, Embodied-RAG's memory is structured as a semantic forest, storing
language descriptions at varying levels of detail. This hierarchical
organization allows the system to efficiently generate context-sensitive
outputs across different robotic platforms. We demonstrate that Embodied-RAG
effectively bridges RAG to the robotics domain, successfully handling over 200
explanation and navigation queries across 19 environments, highlighting its
promise for general-purpose non-parametric system for embodied agents.