LychSim: Een controleerbaar en interactief simulatieframework voor visieonderzoek

Samenvatting

Hoewel zelf-gesuperviseerde pretraining de afhankelijkheid van visiesystemen van synthetische gegevens heeft verminderd, blijft simulatie een onmisbaar hulpmiddel voor closed-loop optimalisatie en rigoureuze out-of-distribution (OOD)-evaluatie. Moderne simulatieplatformen kennen echter vaak steile technische barrières en vereisen uitgebreide expertise op het gebied van computergrafieken en spelontwikkeling. In dit werk presenteren we LychSim, een zeer controleerbaar en interactief simulatieframework gebouwd op Unreal Engine 5 om deze kloof te overbruggen. LychSim is gebouwd rond drie belangrijke ontwerpkeuzes: (1) een gestroomlijnde Python API die de onderliggende complexiteit van de engine abstraheert; (2) een procedurele gegevenspijplijn die in staat is diverse, hoogwaardige omgevingen te genereren met variërende out-of-distribution (OOD)-visuele uitdagingen, gekoppeld aan rijke 2D- en 3D-grondwaarheden; en (3) een native integratie van het Model Context Protocol (MCP) dat de simulator transformeert in een dynamische, gesloten-lus speeltuin voor redenerende agentische LLM's. Verder annoteren we procedurele regels op sceneniveau en pose-uitlijningen op objectniveau om semantisch uitgelijnde 3D-grondwaarheden en geautomatiseerde scèneaanpassing mogelijk te maken. We demonstreren LychSim's capaciteit voor meerdere downstream toepassingen, waaronder het dienen als een synthetische gegevensmotor, het aandrijven van op bekrachtigingsleren gebaseerde adversarial examinatoren, en het vergemakkelijken van interactieve, taalgestuurde scène-indelingsgeneratie. Ten behoeve van de bredere visiegemeenschap zal LychSim openbaar beschikbaar worden gesteld, inclusief de volledige broncode en diverse data-annotaties.

English

While self-supervised pretraining has reduced vision systems' reliance on synthetic data, simulation remains an indispensable tool for closed-loop optimization and rigorous out-of-distribution (OOD) evaluation. However, modern simulation platforms often present steep technical barriers, requiring extensive expertise in computer graphics and game development. In this work, we present LychSim, a highly controllable and interactive simulation framework built upon Unreal Engine 5 to bridge this gap. LychSim is built around three key designs: (1) a streamlined Python API that abstracts away underlying engine complexities; (2) a procedural data pipeline capable of generating diverse, high-fidelity environments with varying out-of-distribution (OOD) visual challenges, paired with rich 2D and 3D ground truths; and (3) a native integration of the Model Context Protocol (MCP) that transforms the simulator into a dynamic, closed-loop playground for reasoning agentic LLMs. We further annotate scene-level procedural rules and object-level pose alignments to enable semantically aligned 3D ground truths and automated scene modification. We demonstrate LychSim's capability across multiple downstream applications, including serving as a synthetic data engine, powering reinforcement learning-based adversarial examiners, and facilitating interactive, language-driven scene layout generation. To benefit the broader vision community, LychSim will be made publicly available, including full source code and various data annotations.