SPEAR: Ein Simulator für fotorealistische Embodied-AI-Forschung

Zusammenfassung

Interaktive Simulatoren haben sich zu leistungsstarken Werkzeugen für das Training verkörperter Agenten und die Erzeugung synthetischer visueller Daten entwickelt, jedoch leiden bestehende fotorealistische Simulatoren unter eingeschränkter Allgemeinheit, Programmierbarkeit und Rendering-Geschwindigkeit. Wir beheben diese Einschränkungen mit SPEAR: Einem Simulator für fotorealistische Embodied-AI-Forschung. Im Kern ist SPEAR eine Python-Bibliothek, die über eine modulare Plugin-Architektur eine Verbindung zu jeder Unreal-Engine (UE)-Anwendung herstellen und diese programmgesteuert steuern kann. SPEAR stellt über 14.000 einzigartige UE-Funktionen für Python bereit, was eine Zunahme der programmierbaren Funktionalität um eine Größenordnung im Vergleich zu bestehenden UE-basierten Simulatoren darstellt. Darüber hinaus kann eine einzelne SPEAR-Instanz fotorealistische Beauty-Bilder mit 1920x1080 Pixeln direkt in das NumPy-Array des Benutzers mit 73 Bildern pro Sekunde rendern – eine Größenordnung schneller als bestehende UE-Plugins – und bietet gleichzeitig Ground-Truth-Bildmodalitäten, die in keinem bestehenden UE-basierten Simulator verfügbar sind (z. B. eine nicht-diffuse intrinsische Bildzerlegung, Material-IDs und physikalisch basierte Schattierungsparameter). Schließlich führt SPEAR ein ausdrucksstarkes hochrangiges Programmiermodell ein, das es Benutzern ermöglicht, komplexe Graphen von UE-Arbeitsabläufen mit beliebigen Datenabhängigkeiten zwischen Arbeitselementen zu spezifizieren und diese Graphen deterministisch innerhalb eines einzelnen UE-Frames auszuführen. Wir demonstrieren den Nutzen von SPEAR anhand einer vielfältigen Sammlung von Beispielanwendungen: Steuerung mehrerer verkörperter Agenten mit unterschiedlichen Aktionsräumen (z. B. Menschen, Autos und Roboter) in mehreren realen UE-Projekten; Rendern fotorealistischer stadtgroßer Umgebungen; Manipulation der prozeduralen Inhaltsgenerierungssysteme der UE; Rendern synchronisierter Multiview-Bilder detaillierter menschlicher Gesichter; Koordination einer interaktiven Co-Simulation mit dem MuJoCo-Physiksimulator; und Bearbeiten von Szenen mit natürlicher Sprache über einen KI-Code-Assistenten.

English

Interactive simulators have become powerful tools for training embodied agents and generating synthetic visual data, but existing photorealistic simulators suffer from limited generality, programmability, and rendering speed. We address these limitations by introducing SPEAR: A Simulator for Photorealistic Embodied AI Research. At its core, SPEAR is a Python library that can connect to, and programmatically control, any Unreal Engine (UE) application via a modular plugin architecture. SPEAR exposes over 14K unique UE functions to Python, representing an order-of-magnitude increase in programmable functionality over existing UE-based simulators. Additionally, a single SPEAR instance can render 1920x1080 photorealistic beauty images directly into a user's NumPy array at 73 frames per second - an order of magnitude faster than existing UE plugins - while also providing ground truth image modalities that are not available in any existing UE-based simulator (e.g., a non-diffuse intrinsic image decomposition, material IDs, and physically based shading parameters). Finally, SPEAR introduces an expressive high-level programming model that enables users to specify complex graphs of UE work with arbitrary data dependencies among work items, and to execute these graphs deterministically within a single UE frame. We demonstrate the utility of SPEAR through a diverse collection of example applications: controlling multiple embodied agents with distinct action spaces (e.g., humans, cars, and robots) across several in-the-wild UE projects; rendering photorealistic city-scale environments; manipulating UE's procedural content generation systems; rendering synchronized multi-view images of detailed human faces; coordinating an interactive co-simulation with the MuJoCo physics simulator; and editing scenes with natural language via an AI coding assistant.