Embodied-RAG: Общая непараметрическая воплощенная память для поиска и генерации.

Embodied-RAG: General non-parametric Embodied Memory for Retrieval and Generation

September 26, 2024

Авторы: Quanting Xie, So Yeon Min, Tianyi Zhang, Aarav Bajaj, Ruslan Salakhutdinov, Matthew Johnson-Roberson, Yonatan Bisk

cs.AI

Аннотация

Роботу нет предела в том, сколько он может исследовать и учиться, но вся эта информация должна быть доступной для поиска и использования. В рамках исследований в области языка появилась концепция retrieval augmented generation (RAG), которая стала основой для крупномасштабного непараметрического хранилища знаний. Однако существующие методики не могут быть непосредственно применены в области воплощенного искусственного интеллекта, который является мультимодальным, где данные сильно коррелированы, и восприятие требует абстракции. Для решения этих проблем мы представляем Embodied-RAG, фреймворк, который расширяет базовую модель воплощенного агента с непараметрической системой памяти, способной автономно создавать иерархические знания как для навигации, так и для генерации языка. Embodied-RAG обеспечивает полный спектр пространственного и семантического разрешения в различных средах и типах запросов, будь то конкретный объект или целостное описание атмосферы. В основе Embodied-RAG лежит память, организованная как семантический лес, хранящий языковые описания на разных уровнях детализации. Такая иерархическая организация позволяет системе эффективно генерировать контекстно-чувствительные результаты на различных робототехнических платформах. Мы демонстрируем, что Embodied-RAG успешно соединяет RAG с областью робототехники, успешно обрабатывая более 200 запросов по объяснению и навигации в 19 средах, подчеркивая его потенциал как универсальной непараметрической системы для воплощенных агентов.

English

There is no limit to how much a robot might explore and learn, but all of that knowledge needs to be searchable and actionable. Within language research, retrieval augmented generation (RAG) has become the workhouse of large-scale non-parametric knowledge, however existing techniques do not directly transfer to the embodied domain, which is multimodal, data is highly correlated, and perception requires abstraction. To address these challenges, we introduce Embodied-RAG, a framework that enhances the foundational model of an embodied agent with a non-parametric memory system capable of autonomously constructing hierarchical knowledge for both navigation and language generation. Embodied-RAG handles a full range of spatial and semantic resolutions across diverse environments and query types, whether for a specific object or a holistic description of ambiance. At its core, Embodied-RAG's memory is structured as a semantic forest, storing language descriptions at varying levels of detail. This hierarchical organization allows the system to efficiently generate context-sensitive outputs across different robotic platforms. We demonstrate that Embodied-RAG effectively bridges RAG to the robotics domain, successfully handling over 200 explanation and navigation queries across 19 environments, highlighting its promise for general-purpose non-parametric system for embodied agents.