SPEAR: Um Simulador para Pesquisa em IA Corporificada Fotorrealista

Resumo

Simuladores interativos tornaram-se ferramentas poderosas para treinar agentes incorporados e gerar dados visuais sintéticos, mas os simuladores fotorrealistas existentes sofrem de generalidade, programabilidade e velocidade de renderização limitadas. Abordamos essas limitações introduzindo o SPEAR: Um Simulador para Pesquisa em IA Incorporada Fotorrealista. Em seu núcleo, o SPEAR é uma biblioteca Python que pode se conectar e controlar programaticamente qualquer aplicação Unreal Engine (UE) por meio de uma arquitetura modular de plugins. O SPEAR expõe mais de 14 mil funções exclusivas da UE para Python, representando um aumento de uma ordem de grandeza na funcionalidade programável em relação aos simuladores baseados em UE existentes. Além disso, uma única instância do SPEAR pode renderizar imagens fotorrealistas de beleza em 1920x1080 diretamente em um array NumPy do usuário a 73 quadros por segundo — uma ordem de grandeza mais rápido que os plugins UE existentes — enquanto também fornece modalidades de imagem ground truth que não estão disponíveis em nenhum simulador baseado em UE existente (por exemplo, uma decomposição intrínseca de imagem não difusa, IDs de material e parâmetros de sombreamento baseados em física). Finalmente, o SPEAR introduz um modelo de programação de alto nível expressivo que permite aos usuários especificar grafos complexos de trabalho da UE com dependências arbitrárias de dados entre itens de trabalho, e executar esses grafos deterministicamente dentro de um único frame da UE. Demonstramos a utilidade do SPEAR por meio de uma coleção diversificada de aplicações de exemplo: controle de múltiplos agentes incorporados com espaços de ação distintos (por exemplo, humanos, carros e robôs) em vários projetos UE in-the-wild; renderização de ambientes fotorrealistas em escala de cidade; manipulação dos sistemas de geração procedural de conteúdo da UE; renderização de imagens multi-visão sincronizadas de rostos humanos detalhados; coordenação de uma co-simulação interativa com o simulador físico MuJoCo; e edição de cenas com linguagem natural por meio de um assistente de codificação de IA.

English

Interactive simulators have become powerful tools for training embodied agents and generating synthetic visual data, but existing photorealistic simulators suffer from limited generality, programmability, and rendering speed. We address these limitations by introducing SPEAR: A Simulator for Photorealistic Embodied AI Research. At its core, SPEAR is a Python library that can connect to, and programmatically control, any Unreal Engine (UE) application via a modular plugin architecture. SPEAR exposes over 14K unique UE functions to Python, representing an order-of-magnitude increase in programmable functionality over existing UE-based simulators. Additionally, a single SPEAR instance can render 1920x1080 photorealistic beauty images directly into a user's NumPy array at 73 frames per second - an order of magnitude faster than existing UE plugins - while also providing ground truth image modalities that are not available in any existing UE-based simulator (e.g., a non-diffuse intrinsic image decomposition, material IDs, and physically based shading parameters). Finally, SPEAR introduces an expressive high-level programming model that enables users to specify complex graphs of UE work with arbitrary data dependencies among work items, and to execute these graphs deterministically within a single UE frame. We demonstrate the utility of SPEAR through a diverse collection of example applications: controlling multiple embodied agents with distinct action spaces (e.g., humans, cars, and robots) across several in-the-wild UE projects; rendering photorealistic city-scale environments; manipulating UE's procedural content generation systems; rendering synchronized multi-view images of detailed human faces; coordinating an interactive co-simulation with the MuJoCo physics simulator; and editing scenes with natural language via an AI coding assistant.