SPEAR : un simulateur pour la recherche en IA incarnée photoréaliste

Résumé

Les simulateurs interactifs sont devenus des outils puissants pour l’entraînement d’agents incarnés et la génération de données visuelles synthétiques, mais les simulateurs photoréalistes existants souffrent d’une généralité, d’une programmabilité et d’une vitesse de rendu limitées. Nous remédions à ces limitations en introduisant SPEAR : un simulateur pour la recherche en IA incarnée photoréaliste. À sa base, SPEAR est une bibliothèque Python capable de se connecter à toute application Unreal Engine (UE) et de la contrôler par programmation grâce à une architecture de plugins modulaire. SPEAR expose plus de 14 000 fonctions UE uniques à Python, représentant une augmentation d’un ordre de grandeur de la fonctionnalité programmable par rapport aux simulateurs existants basés sur UE. De plus, une seule instance de SPEAR peut générer des images de beauté photoréalistes en 1920×1080 directement dans un tableau NumPy de l’utilisateur à 73 images par seconde – soit un ordre de grandeur plus rapide que les plugins UE existants – tout en fournissant des modalités d’image de vérité terrain indisponibles dans tout simulateur UE actuel (par exemple, une décomposition d’image intrinsèque non diffuse, des identifiants de matériaux et des paramètres d’ombrage basés sur la physique). Enfin, SPEAR introduit un modèle de programmation de haut niveau expressif qui permet aux utilisateurs de spécifier des graphes complexes de travaux UE avec des dépendances de données arbitraires entre les éléments de travail, et d’exécuter ces graphes de manière déterministe au sein d’une seule image UE. Nous démontrons l’utilité de SPEAR à travers une collection diversifiée d’applications exemples : le contrôle de plusieurs agents incarnés avec des espaces d’action distincts (par exemple, humains, voitures et robots) dans plusieurs projets UE en conditions réelles ; le rendu d’environnements photoréalistes à l’échelle d’une ville ; la manipulation des systèmes de génération procédurale de contenu d’UE ; le rendu d’images multivues synchronisées de visages humains détaillés ; la coordination d’une co-simulation interactive avec le simulateur physique MuJoCo ; et l’édition de scènes par langage naturel via un assistant de codage IA.

English

Interactive simulators have become powerful tools for training embodied agents and generating synthetic visual data, but existing photorealistic simulators suffer from limited generality, programmability, and rendering speed. We address these limitations by introducing SPEAR: A Simulator for Photorealistic Embodied AI Research. At its core, SPEAR is a Python library that can connect to, and programmatically control, any Unreal Engine (UE) application via a modular plugin architecture. SPEAR exposes over 14K unique UE functions to Python, representing an order-of-magnitude increase in programmable functionality over existing UE-based simulators. Additionally, a single SPEAR instance can render 1920x1080 photorealistic beauty images directly into a user's NumPy array at 73 frames per second - an order of magnitude faster than existing UE plugins - while also providing ground truth image modalities that are not available in any existing UE-based simulator (e.g., a non-diffuse intrinsic image decomposition, material IDs, and physically based shading parameters). Finally, SPEAR introduces an expressive high-level programming model that enables users to specify complex graphs of UE work with arbitrary data dependencies among work items, and to execute these graphs deterministically within a single UE frame. We demonstrate the utility of SPEAR through a diverse collection of example applications: controlling multiple embodied agents with distinct action spaces (e.g., humans, cars, and robots) across several in-the-wild UE projects; rendering photorealistic city-scale environments; manipulating UE's procedural content generation systems; rendering synchronized multi-view images of detailed human faces; coordinating an interactive co-simulation with the MuJoCo physics simulator; and editing scenes with natural language via an AI coding assistant.