LychSim: Um Framework de Simulação Controlável e Interativo para Pesquisa em Visão

Resumo

Embora o pré-treinamento auto-supervisionado tenha reduzido a dependência dos sistemas de visão em dados sintéticos, a simulação continua sendo uma ferramenta indispensável para a otimização em malha fechada e a avaliação rigorosa fora da distribuição (OOD). No entanto, plataformas de simulação modernas frequentemente apresentam barreiras técnicas acentuadas, exigindo ampla expertise em computação gráfica e desenvolvimento de jogos. Neste trabalho, apresentamos o LychSim, uma estrutura de simulação altamente controlável e interativa construída sobre o Unreal Engine 5 para superar essa lacuna. O LychSim é construído em torno de três aspectos principais: (1) uma API Python simplificada que abstrai as complexidades subjacentes do motor gráfico; (2) um pipeline de dados procedural capaz de gerar ambientes diversos e de alta fidelidade com desafios visuais variados fora da distribuição (OOD), combinados com dados de referência 2D e 3D ricos; e (3) uma integração nativa do Model Context Protocol (MCP) que transforma o simulador em um ambiente interativo e dinâmico de malha fechada para LLMs agentivos com raciocínio. Adicionalmente, anotamos regras processuais no nível da cena e alinhamentos de pose no nível dos objetos para permitir dados de referência 3D semanticamente alinhados e modificação automatizada de cenas. Demonstramos a capacidade do LychSim em várias aplicações downstream, incluindo servir como um motor de dados sintéticos, potencializar examinadores adversários baseados em aprendizado por reforço e facilitar a geração interativa de layout de cenas orientada por linguagem. Para beneficiar a comunidade de visão computacional, o LychSim será disponibilizado publicamente, incluindo o código-fonte completo e várias anotações de dados.

English

While self-supervised pretraining has reduced vision systems' reliance on synthetic data, simulation remains an indispensable tool for closed-loop optimization and rigorous out-of-distribution (OOD) evaluation. However, modern simulation platforms often present steep technical barriers, requiring extensive expertise in computer graphics and game development. In this work, we present LychSim, a highly controllable and interactive simulation framework built upon Unreal Engine 5 to bridge this gap. LychSim is built around three key designs: (1) a streamlined Python API that abstracts away underlying engine complexities; (2) a procedural data pipeline capable of generating diverse, high-fidelity environments with varying out-of-distribution (OOD) visual challenges, paired with rich 2D and 3D ground truths; and (3) a native integration of the Model Context Protocol (MCP) that transforms the simulator into a dynamic, closed-loop playground for reasoning agentic LLMs. We further annotate scene-level procedural rules and object-level pose alignments to enable semantically aligned 3D ground truths and automated scene modification. We demonstrate LychSim's capability across multiple downstream applications, including serving as a synthetic data engine, powering reinforcement learning-based adversarial examiners, and facilitating interactive, language-driven scene layout generation. To benefit the broader vision community, LychSim will be made publicly available, including full source code and various data annotations.