SPEAR: Симулятор для исследований фотореалистичного воплощённого ИИ

Аннотация

Интерактивные симуляторы стали мощными инструментами для обучения воплощенных агентов и генерации синтетических визуальных данных, однако существующие фотореалистичные симуляторы страдают ограниченной универсальностью, программируемостью и скоростью рендеринга. Мы устраняем эти ограничения, представляя SPEAR: симулятор для фотореалистичных исследований воплощенного ИИ. В основе SPEAR лежит библиотека Python, которая может подключаться к любому приложению Unreal Engine (UE) и программно управлять им через модульную архитектуру плагинов. SPEAR предоставляет доступ к более чем 14 тысячам уникальных функций UE из Python, что представляет собой на порядок большее увеличение программируемых функций по сравнению с существующими симуляторами на основе UE. Кроме того, один экземпляр SPEAR может рендерить фотореалистичные изображения с разрешением 1920x1080 напрямую в массив NumPy со скоростью 73 кадра в секунду — на порядок быстрее существующих плагинов UE — одновременно предоставляя модальности изображений эталонной истины, недоступные ни в одном существующем симуляторе на базе UE (например, недиффузное разложение внутреннего изображения, идентификаторы материалов и параметры затенения на основе физических свойств). Наконец, SPEAR вводит выразительную модель программирования высокого уровня, которая позволяет пользователям задавать сложные графы работы UE с произвольными зависимостями данных между элементами работы и выполнять эти графы детерминированно в рамках одного кадра UE. Мы демонстрируем полезность SPEAR через разнообразную коллекцию примеров приложений: управление несколькими воплощенными агентами с различными пространствами действий (например, люди, автомобили и роботы) в нескольких проектах UE в реальных условиях; рендеринг фотореалистичных сред масштаба города; манипулирование системами процедурной генерации контента UE; рендеринг синхронизированных многовидовых изображений детализированных человеческих лиц; координация интерактивного совместного моделирования с физическим симулятором MuJoCo; и редактирование сцен с помощью естественного языка через AI-ассистента кодирования.

English

Interactive simulators have become powerful tools for training embodied agents and generating synthetic visual data, but existing photorealistic simulators suffer from limited generality, programmability, and rendering speed. We address these limitations by introducing SPEAR: A Simulator for Photorealistic Embodied AI Research. At its core, SPEAR is a Python library that can connect to, and programmatically control, any Unreal Engine (UE) application via a modular plugin architecture. SPEAR exposes over 14K unique UE functions to Python, representing an order-of-magnitude increase in programmable functionality over existing UE-based simulators. Additionally, a single SPEAR instance can render 1920x1080 photorealistic beauty images directly into a user's NumPy array at 73 frames per second - an order of magnitude faster than existing UE plugins - while also providing ground truth image modalities that are not available in any existing UE-based simulator (e.g., a non-diffuse intrinsic image decomposition, material IDs, and physically based shading parameters). Finally, SPEAR introduces an expressive high-level programming model that enables users to specify complex graphs of UE work with arbitrary data dependencies among work items, and to execute these graphs deterministically within a single UE frame. We demonstrate the utility of SPEAR through a diverse collection of example applications: controlling multiple embodied agents with distinct action spaces (e.g., humans, cars, and robots) across several in-the-wild UE projects; rendering photorealistic city-scale environments; manipulating UE's procedural content generation systems; rendering synchronized multi-view images of detailed human faces; coordinating an interactive co-simulation with the MuJoCo physics simulator; and editing scenes with natural language via an AI coding assistant.