SPEAR: 写実的な身体性AI研究のためのシミュレータ

要旨

インタラクティブシミュレーターは、具現化エージェントの訓練や合成視覚データの生成のための強力なツールとなっているが、既存のフォトリアリスティックシミュレーターは汎用性、プログラマビリティ、レンダリング速度に制限がある。我々はこれらの制限に対処するため、SPEAR（フォトリアリスティックな具現化AI研究のためのシミュレーター）を導入する。その核として、SPEARはモジュラープラグインアーキテクチャを介して任意のUnreal Engine（UE）アプリケーションに接続し、プログラムで制御できるPythonライブラリである。SPEARは14,000以上の独自のUE関数をPythonに公開しており、既存のUEベースのシミュレーターと比較してプログラマブルな機能が一桁増加している。さらに、単一のSPEARインスタンスは、1920x1080のフォトリアリスティックな美観画像をユーザーのNumPy配列に直接、毎秒73フレームでレンダリングできる。これは既存のUEプラグインよりも一桁高速である。同時に、既存のUEベースのシミュレーターでは利用できないグラウンドトゥルース画像モダリティ（例えば、非拡散性の内在画像分解、マテリアルID、物理ベースのシェーディングパラメータ）も提供する。最後に、SPEARは表現力豊かな高水準プログラミングモデルを導入しており、ユーザーが作業項目間の任意のデータ依存関係を持つ複雑なUE作業のグラフを指定し、これらのグラフを単一のUEフレーム内で決定論的に実行できるようにする。我々は、SPEARの有用性を多様な応用例を通じて示す：複数の異なる行動空間を持つ具現化エージェント（人間、車、ロボットなど）を複数の実環境UEプロジェクト全体で制御すること、フォトリアリスティックな都市規模の環境をレンダリングすること、UEのプロシージャルコンテンツ生成システムを操作すること、詳細な人間の顔の同期マルチビュー画像をレンダリングすること、MuJoCo物理シミュレーターとのインタラクティブな共同シミュレーションを調整すること、そしてAIコーディングアシスタントを介した自然言語によるシーン編集である。

English

Interactive simulators have become powerful tools for training embodied agents and generating synthetic visual data, but existing photorealistic simulators suffer from limited generality, programmability, and rendering speed. We address these limitations by introducing SPEAR: A Simulator for Photorealistic Embodied AI Research. At its core, SPEAR is a Python library that can connect to, and programmatically control, any Unreal Engine (UE) application via a modular plugin architecture. SPEAR exposes over 14K unique UE functions to Python, representing an order-of-magnitude increase in programmable functionality over existing UE-based simulators. Additionally, a single SPEAR instance can render 1920x1080 photorealistic beauty images directly into a user's NumPy array at 73 frames per second - an order of magnitude faster than existing UE plugins - while also providing ground truth image modalities that are not available in any existing UE-based simulator (e.g., a non-diffuse intrinsic image decomposition, material IDs, and physically based shading parameters). Finally, SPEAR introduces an expressive high-level programming model that enables users to specify complex graphs of UE work with arbitrary data dependencies among work items, and to execute these graphs deterministically within a single UE frame. We demonstrate the utility of SPEAR through a diverse collection of example applications: controlling multiple embodied agents with distinct action spaces (e.g., humans, cars, and robots) across several in-the-wild UE projects; rendering photorealistic city-scale environments; manipulating UE's procedural content generation systems; rendering synchronized multi-view images of detailed human faces; coordinating an interactive co-simulation with the MuJoCo physics simulator; and editing scenes with natural language via an AI coding assistant.