SPRITE: De Mockups Estáticos para Interface de Jogo Pronta para Motor
SPRITE: From Static Mockups to Engine-Ready Game UI
March 18, 2026
Autores: Yunshu Bai, RuiHao Li, Hao Zhang, Chien Her Lim, Ming Yan, Mengtian Li
cs.AI
Resumo
A implementação de interface de usuário (UI) em jogos requer a tradução de mockups estilizados em entidades interativas do motor de jogo. No entanto, as ferramentas atuais de "Screenshot-to-Code" frequentemente têm dificuldade com as geometrias irregulares e hierarquias visuais complexas típicas das interfaces de jogos. Para preencher essa lacuna, apresentamos o SPRITE, um pipeline que transforma screenshots estáticos em assets editáveis do motor. Ao integrar Modelos de Visão e Linguagem (VLMs) com uma representação intermediária estruturada em YAML, o SPRITE captura explicitamente relações complexas de containers e layouts não retangulares. Avaliamos o SPRITE contra um benchmark curado de UI de jogos e conduzimos revisões por especialistas com desenvolvedores profissionais para avaliar a fidelidade da reconstrução e a eficiência de prototipagem. Nossos resultados demonstram que o SPRITE agiliza o desenvolvimento automatizando a codificação tediosa e resolven do aninhamento complexo. Ao facilitar a iteração rápida dentro do motor, o SPRITE efetivamente desfaz os limites entre o design artístico e a implementação técnica no desenvolvimento de jogos. Página do projeto: https://baiyunshu.github.io/sprite.github.io/
English
Game UI implementation requires translating stylized mockups into interactive engine entities. However, current "Screenshot-to-Code" tools often struggle with the irregular geometries and deep visual hierarchies typical of game interfaces. To bridge this gap, we introduce SPRITE, a pipeline that transforms static screenshots into editable engine assets. By integrating Vision-Language Models (VLMs) with a structured YAML intermediate representation, SPRITE explicitly captures complex container relationships and non-rectangular layouts. We evaluated SPRITE against a curated Game UI benchmark and conducted expert reviews with professional developers to assess reconstruction fidelity and prototyping efficiency. Our findings demonstrate that SPRITE streamlines development by automating tedious coding and resolving complex nesting. By facilitating rapid in-engine iteration, SPRITE effectively blurs the boundaries between artistic design and technical implementation in game development. Project page: https://baiyunshu.github.io/sprite.github.io/