Embodied-RAG : Mémoire corporelle générale non paramétrique pour la recherche et la génération

Embodied-RAG: General non-parametric Embodied Memory for Retrieval and Generation

September 26, 2024

Auteurs: Quanting Xie, So Yeon Min, Tianyi Zhang, Aarav Bajaj, Ruslan Salakhutdinov, Matthew Johnson-Roberson, Yonatan Bisk

cs.AI

Résumé

Il n'y a pas de limite à la quantité d'exploration et d'apprentissage qu'un robot peut réaliser, mais toutes ces connaissances doivent être consultables et exploitables. Dans le domaine de la recherche en langage, la récupération augmentée par génération (RAG) est devenue l'outil de base de la connaissance non paramétrique à grande échelle, cependant les techniques existantes ne se transfèrent pas directement au domaine incarné, qui est multimodal, où les données sont fortement corrélées et où la perception nécessite de l'abstraction. Pour relever ces défis, nous introduisons Embodied-RAG, un cadre qui améliore le modèle fondamental d'un agent incarné avec un système de mémoire non paramétrique capable de construire de manière autonome une connaissance hiérarchique pour la navigation et la génération de langage. Embodied-RAG gère une gamme complète de résolutions spatiales et sémantiques à travers des environnements divers et des types de requêtes, que ce soit pour un objet spécifique ou une description holistique de l'ambiance. Au cœur d'Embodied-RAG, sa mémoire est structurée comme une forêt sémantique, stockant des descriptions de langage à différents niveaux de détail. Cette organisation hiérarchique permet au système de générer efficacement des sorties sensibles au contexte sur différentes plateformes robotiques. Nous démontrons qu'Embodied-RAG relie efficacement RAG au domaine de la robotique, gérant avec succès plus de 200 requêtes d'explication et de navigation à travers 19 environnements, mettant en avant son potentiel en tant que système non paramétrique polyvalent pour les agents incarnés.

English

There is no limit to how much a robot might explore and learn, but all of that knowledge needs to be searchable and actionable. Within language research, retrieval augmented generation (RAG) has become the workhouse of large-scale non-parametric knowledge, however existing techniques do not directly transfer to the embodied domain, which is multimodal, data is highly correlated, and perception requires abstraction. To address these challenges, we introduce Embodied-RAG, a framework that enhances the foundational model of an embodied agent with a non-parametric memory system capable of autonomously constructing hierarchical knowledge for both navigation and language generation. Embodied-RAG handles a full range of spatial and semantic resolutions across diverse environments and query types, whether for a specific object or a holistic description of ambiance. At its core, Embodied-RAG's memory is structured as a semantic forest, storing language descriptions at varying levels of detail. This hierarchical organization allows the system to efficiently generate context-sensitive outputs across different robotic platforms. We demonstrate that Embodied-RAG effectively bridges RAG to the robotics domain, successfully handling over 200 explanation and navigation queries across 19 environments, highlighting its promise for general-purpose non-parametric system for embodied agents.