SPEAR: Un Simulador para la Investigación en IA Encarnada Fotorrealista

Resumen

Los simuladores interactivos se han convertido en herramientas poderosas para entrenar agentes encarnados y generar datos visuales sintéticos, pero los simuladores fotorrealistas existentes adolecen de una generalidad, programabilidad y velocidad de renderizado limitadas. Abordamos estas limitaciones presentando SPEAR: un simulador para la investigación en IA encarnada fotorrealista. En esencia, SPEAR es una biblioteca de Python que puede conectarse y controlar programáticamente cualquier aplicación de Unreal Engine (UE) mediante una arquitectura de plugins modular. SPEAR expone más de 14 mil funciones de UE a Python, lo que representa un incremento de un orden de magnitud en la funcionalidad programable en comparación con los simuladores basados en UE existentes. Además, una única instancia de SPEAR puede renderizar imágenes fotorrealistas de belleza en 1920x1080 directamente en un array de NumPy del usuario a 73 fotogramas por segundo, un orden de magnitud más rápido que los plugins de UE existentes, al mismo tiempo que proporciona modalidades de imágenes de verdad fundamental que no están disponibles en ningún simulador basado en UE (por ejemplo, una descomposición de imagen intrínseca no difusa, IDs de material y parámetros de sombreado basados en física). Finalmente, SPEAR introduce un modelo de programación de alto nivel expresivo que permite a los usuarios especificar grafos complejos de trabajo en UE con dependencias de datos arbitrarias entre los elementos de trabajo, y ejecutar estos grafos de manera determinista dentro de un único fotograma de UE. Demostramos la utilidad de SPEAR mediante una colección diversa de aplicaciones de ejemplo: control de múltiples agentes encarnados con espacios de acción distintos (por ejemplo, humanos, automóviles y robots) en varios proyectos de UE en condiciones reales; renderizado de entornos fotorrealistas a escala urbana; manipulación de los sistemas de generación de contenido procedimental de UE; renderizado de imágenes sincronizadas multivista de rostros humanos detallados; coordinación de una cosimulación interactiva con el simulador físico MuJoCo; y edición de escenas mediante lenguaje natural a través de un asistente de codificación basado en IA.

English

Interactive simulators have become powerful tools for training embodied agents and generating synthetic visual data, but existing photorealistic simulators suffer from limited generality, programmability, and rendering speed. We address these limitations by introducing SPEAR: A Simulator for Photorealistic Embodied AI Research. At its core, SPEAR is a Python library that can connect to, and programmatically control, any Unreal Engine (UE) application via a modular plugin architecture. SPEAR exposes over 14K unique UE functions to Python, representing an order-of-magnitude increase in programmable functionality over existing UE-based simulators. Additionally, a single SPEAR instance can render 1920x1080 photorealistic beauty images directly into a user's NumPy array at 73 frames per second - an order of magnitude faster than existing UE plugins - while also providing ground truth image modalities that are not available in any existing UE-based simulator (e.g., a non-diffuse intrinsic image decomposition, material IDs, and physically based shading parameters). Finally, SPEAR introduces an expressive high-level programming model that enables users to specify complex graphs of UE work with arbitrary data dependencies among work items, and to execute these graphs deterministically within a single UE frame. We demonstrate the utility of SPEAR through a diverse collection of example applications: controlling multiple embodied agents with distinct action spaces (e.g., humans, cars, and robots) across several in-the-wild UE projects; rendering photorealistic city-scale environments; manipulating UE's procedural content generation systems; rendering synchronized multi-view images of detailed human faces; coordinating an interactive co-simulation with the MuJoCo physics simulator; and editing scenes with natural language via an AI coding assistant.