SPEAR: Een simulator voor fotorealistisch belichaamd AI-onderzoek

Samenvatting

Interactieve simulatoren zijn krachtige hulpmiddelen geworden voor het trainen van belichaamde agenten en het genereren van synthetische visuele gegevens, maar bestaande fotorealistische simulatoren lijden onder een beperkte algemeenheid, programmeerbaarheid en weergavesnelheid. Wij adresseren deze beperkingen door de introductie van SPEAR: een simulator voor fotorealistisch belichaamd AI-onderzoek. In de kern is SPEAR een Python-bibliotheek die kan verbinden met, en programmatisch kan aansturen, elke Unreal Engine (UE)-toepassing via een modulaire plugin-architectuur. SPEAR stelt meer dan 14.000 unieke UE-functies bloot aan Python, wat een orde van grootte toename in programmeerbare functionaliteit vertegenwoordigt ten opzichte van bestaande UE-gebaseerde simulatoren. Bovendien kan een enkele SPEAR-instantie 1920x1080 fotorealistische beauty-afbeeldingen direct renderen in de NumPy-array van een gebruiker met 73 frames per seconde – een orde van grootte sneller dan bestaande UE-plugins – terwijl het ook ground truth-beeldmodaliteiten biedt die niet beschikbaar zijn in enige bestaande UE-gebaseerde simulator (bijv. een niet-diffuse intrinsieke beelddecompositie, materiaal-ID's en fysiek gebaseerde schaduwparameters). Ten slotte introduceert SPEAR een expressief programmeermodel op hoog niveau dat gebruikers in staat stelt om complexe grafieken van UE-werkzaamheden te specificeren met willekeurige data-afhankelijkheden tussen werkitems, en deze grafieken deterministisch uit te voeren binnen één enkel UE-frame. We demonstreren het nut van SPEAR via een diverse verzameling voorbeeldtoepassingen: het aansturen van meerdere belichaamde agenten met verschillende actieruimten (bijv. mensen, auto's en robots) in verschillende in-the-wild UE-projecten; het renderen van fotorealistische stadsbrede omgevingen; het manipuleren van UE's procedurele contentgeneratiesystemen; het renderen van gesynchroniseerde multi-view afbeeldingen van gedetailleerde menselijke gezichten; het coördineren van een interactieve co-simulatie met de MuJoCo-fysicasimulator; en het bewerken van scènes met natuurlijke taal via een AI-codeerassistent.

English

Interactive simulators have become powerful tools for training embodied agents and generating synthetic visual data, but existing photorealistic simulators suffer from limited generality, programmability, and rendering speed. We address these limitations by introducing SPEAR: A Simulator for Photorealistic Embodied AI Research. At its core, SPEAR is a Python library that can connect to, and programmatically control, any Unreal Engine (UE) application via a modular plugin architecture. SPEAR exposes over 14K unique UE functions to Python, representing an order-of-magnitude increase in programmable functionality over existing UE-based simulators. Additionally, a single SPEAR instance can render 1920x1080 photorealistic beauty images directly into a user's NumPy array at 73 frames per second - an order of magnitude faster than existing UE plugins - while also providing ground truth image modalities that are not available in any existing UE-based simulator (e.g., a non-diffuse intrinsic image decomposition, material IDs, and physically based shading parameters). Finally, SPEAR introduces an expressive high-level programming model that enables users to specify complex graphs of UE work with arbitrary data dependencies among work items, and to execute these graphs deterministically within a single UE frame. We demonstrate the utility of SPEAR through a diverse collection of example applications: controlling multiple embodied agents with distinct action spaces (e.g., humans, cars, and robots) across several in-the-wild UE projects; rendering photorealistic city-scale environments; manipulating UE's procedural content generation systems; rendering synchronized multi-view images of detailed human faces; coordinating an interactive co-simulation with the MuJoCo physics simulator; and editing scenes with natural language via an AI coding assistant.