Embodied-RAG: Memória Corporificada Geral Não-paramétrica para Recuperação e Geração

Embodied-RAG: General non-parametric Embodied Memory for Retrieval and Generation

September 26, 2024

Autores: Quanting Xie, So Yeon Min, Tianyi Zhang, Aarav Bajaj, Ruslan Salakhutdinov, Matthew Johnson-Roberson, Yonatan Bisk

cs.AI

Resumo

Não há limite para o quanto um robô pode explorar e aprender, mas todo esse conhecimento precisa ser pesquisável e acionável. Dentro da pesquisa de linguagem, a recuperação aumentada pela geração (RAG) se tornou a principal ferramenta de conhecimento não paramétrico em larga escala, no entanto, as técnicas existentes não são diretamente transferíveis para o domínio incorporado, que é multimodal, os dados são altamente correlacionados e a percepção requer abstração. Para enfrentar esses desafios, introduzimos o Embodied-RAG, um framework que aprimora o modelo fundamental de um agente incorporado com um sistema de memória não paramétrico capaz de construir autonomamente conhecimento hierárquico para navegação e geração de linguagem. O Embodied-RAG lida com uma ampla gama de resoluções espaciais e semânticas em diversos ambientes e tipos de consulta, seja para um objeto específico ou uma descrição holística do ambiente. Em sua essência, a memória do Embodied-RAG é estruturada como uma floresta semântica, armazenando descrições de linguagem em diferentes níveis de detalhe. Essa organização hierárquica permite que o sistema gere eficientemente saídas sensíveis ao contexto em diferentes plataformas robóticas. Demonstramos que o Embodied-RAG conecta efetivamente o RAG ao domínio da robótica, lidando com mais de 200 consultas de explicação e navegação em 19 ambientes, destacando sua promessa como sistema não paramétrico de propósito geral para agentes incorporados.

English

There is no limit to how much a robot might explore and learn, but all of that knowledge needs to be searchable and actionable. Within language research, retrieval augmented generation (RAG) has become the workhouse of large-scale non-parametric knowledge, however existing techniques do not directly transfer to the embodied domain, which is multimodal, data is highly correlated, and perception requires abstraction. To address these challenges, we introduce Embodied-RAG, a framework that enhances the foundational model of an embodied agent with a non-parametric memory system capable of autonomously constructing hierarchical knowledge for both navigation and language generation. Embodied-RAG handles a full range of spatial and semantic resolutions across diverse environments and query types, whether for a specific object or a holistic description of ambiance. At its core, Embodied-RAG's memory is structured as a semantic forest, storing language descriptions at varying levels of detail. This hierarchical organization allows the system to efficiently generate context-sensitive outputs across different robotic platforms. We demonstrate that Embodied-RAG effectively bridges RAG to the robotics domain, successfully handling over 200 explanation and navigation queries across 19 environments, highlighting its promise for general-purpose non-parametric system for embodied agents.