SPEAR: 포토리얼리스틱 임보디드 AI 연구를 위한 시뮬레이터

초록

대화형 시뮬레이터는 체화된 에이전트를 훈련하고 합성 시각 데이터를 생성하는 강력한 도구가 되었지만, 기존의 사실적인 시뮬레이터는 제한된 일반성, 프로그래밍 가능성 및 렌더링 속도를 보인다. 우리는 SPEAR(사실적인 체화형 AI 연구를 위한 시뮬레이터)를 도입하여 이러한 한계를 해결한다. SPEAR의 핵심은 모듈식 플러그인 아키텍처를 통해 모든 언리얼 엔진(UE) 애플리케이션에 연결하고 프로그래밍 방식으로 제어할 수 있는 Python 라이브러리이다. SPEAR는 14,000개 이상의 고유 UE 함수를 Python에 노출시켜, 기존 UE 기반 시뮬레이터 대비 프로그래밍 가능 기능을 한 자릿수 이상 향상시켰다. 또한 단일 SPEAR 인스턴스는 1920x1080 해상도의 사실적인 뷰티 이미지를 초당 73프레임으로 사용자의 NumPy 배열에 직접 렌더링할 수 있으며, 이는 기존 UE 플러그인보다 한 자릿수 빠르다. 동시에 기존 UE 기반 시뮬레이터에서는 제공되지 않는 실측 이미지 모달리티(예: 비확산 고유 이미지 분해, 재질 ID, 물리 기반 셰이딩 파라미터)도 제공한다. 마지막으로, SPEAR는 표현력이 풍부한 고수준 프로그래밍 모델을 도입하여 사용자가 작업 항목 간의 임의 데이터 종속성을 가진 복잡한 UE 작업 그래프를 지정하고, 이러한 그래프를 단일 UE 프레임 내에서 결정론적으로 실행할 수 있게 한다. 우리는 다양한 예제 응용 프로그램을 통해 SPEAR의 유용성을 입증한다: 여러 현장 UE 프로젝트에서 인간, 자동차, 로봇 등 서로 다른 행동 공간을 가진 여러 체화된 에이전트를 제어하기, 사실적인 도시 규모 환경 렌더링, UE의 절차적 콘텐츠 생성 시스템 조작, 상세한 인간 얼굴의 동기화된 다중 뷰 이미지 렌더링, MuJoCo 물리 시뮬레이터와의 대화형 공동 시뮬레이션 조정, AI 코딩 어시스턴트를 통한 자연어로 장면 편집 등이다.

English

Interactive simulators have become powerful tools for training embodied agents and generating synthetic visual data, but existing photorealistic simulators suffer from limited generality, programmability, and rendering speed. We address these limitations by introducing SPEAR: A Simulator for Photorealistic Embodied AI Research. At its core, SPEAR is a Python library that can connect to, and programmatically control, any Unreal Engine (UE) application via a modular plugin architecture. SPEAR exposes over 14K unique UE functions to Python, representing an order-of-magnitude increase in programmable functionality over existing UE-based simulators. Additionally, a single SPEAR instance can render 1920x1080 photorealistic beauty images directly into a user's NumPy array at 73 frames per second - an order of magnitude faster than existing UE plugins - while also providing ground truth image modalities that are not available in any existing UE-based simulator (e.g., a non-diffuse intrinsic image decomposition, material IDs, and physically based shading parameters). Finally, SPEAR introduces an expressive high-level programming model that enables users to specify complex graphs of UE work with arbitrary data dependencies among work items, and to execute these graphs deterministically within a single UE frame. We demonstrate the utility of SPEAR through a diverse collection of example applications: controlling multiple embodied agents with distinct action spaces (e.g., humans, cars, and robots) across several in-the-wild UE projects; rendering photorealistic city-scale environments; manipulating UE's procedural content generation systems; rendering synchronized multi-view images of detailed human faces; coordinating an interactive co-simulation with the MuJoCo physics simulator; and editing scenes with natural language via an AI coding assistant.