SPRITE: De Maquetas Estáticas a Interfaces de Juego Listas para el Motor
SPRITE: From Static Mockups to Engine-Ready Game UI
March 18, 2026
Autores: Yunshu Bai, RuiHao Li, Hao Zhang, Chien Her Lim, Ming Yan, Mengtian Li
cs.AI
Resumen
La implementación de interfaces de usuario para videojuegos requiere traducir maquetas estilizadas en entidades interactivas del motor gráfico. Sin embargo, las herramientas actuales de "Captura de Pantalla a Código" suelen tener dificultades con las geometrías irregulares y las jerarquías visuales profundas típicas de las interfaces de juego. Para cerrar esta brecha, presentamos SPRITE, un pipeline que transforma capturas de pantalla estáticas en recursos editables del motor. Al integrar Modelos de Visión y Lenguaje (VLM) con una representación intermedia estructurada en YAML, SPRITE captura explícitamente relaciones complejas de contenedores y diseños no rectangulares. Evaluamos SPRITE frente a un benchmark curado de IU para juegos y realizamos revisiones expertas con desarrolladores profesionales para evaluar la fidelidad de la reconstrucción y la eficiencia en la creación de prototipos. Nuestros hallazgos demuestran que SPRITE agiliza el desarrollo automatizando la codificación tediosa y resolviendo anidamientos complejos. Al facilitar una iteración rápida dentro del motor, SPRITE difumina efectivamente los límites entre el diseño artístico y la implementación técnica en el desarrollo de videojuegos. Página del proyecto: https://baiyunshu.github.io/sprite.github.io/
English
Game UI implementation requires translating stylized mockups into interactive engine entities. However, current "Screenshot-to-Code" tools often struggle with the irregular geometries and deep visual hierarchies typical of game interfaces. To bridge this gap, we introduce SPRITE, a pipeline that transforms static screenshots into editable engine assets. By integrating Vision-Language Models (VLMs) with a structured YAML intermediate representation, SPRITE explicitly captures complex container relationships and non-rectangular layouts. We evaluated SPRITE against a curated Game UI benchmark and conducted expert reviews with professional developers to assess reconstruction fidelity and prototyping efficiency. Our findings demonstrate that SPRITE streamlines development by automating tedious coding and resolving complex nesting. By facilitating rapid in-engine iteration, SPRITE effectively blurs the boundaries between artistic design and technical implementation in game development. Project page: https://baiyunshu.github.io/sprite.github.io/