SPRITE: Da Mockup Statici a Interfacce di Gioco Pronte per il Motore

SPRITE: From Static Mockups to Engine-Ready Game UI

March 18, 2026

Autori: Yunshu Bai, RuiHao Li, Hao Zhang, Chien Her Lim, Ming Yan, Mengtian Li

cs.AI

Abstract

L'implementazione dell'interfaccia utente di un gioco richiede la traduzione di mockup stilizzati in entità interattive all'interno del motore di gioco. Tuttavia, gli attuali strumenti "Screenshot-to-Code" spesso incontrano difficoltà con le geometrie irregolari e le gerarchie visive complesse tipiche delle interfacce di gioco. Per colmare questa lacuna, introduciamo SPRITE, una pipeline che trasforma screenshot statici in asset modificabili per il motore. Integrando modelli visione-linguaggio (VLM) con una rappresentazione intermedia strutturata in YAML, SPRITE cattura esplicitamente le relazioni complesse tra contenitori e i layout non rettangolari. Abbiamo valutato SPRITE rispetto a un benchmark curato di UI per giochi e condotto revisioni esperte con sviluppatori professionisti per valutarne la fedeltà di ricostruzione e l'efficienza nel prototipaggio. I nostri risultati dimostrano che SPRITE semplifica lo sviluppo automatizzando la codifica tediosa e risolvendo l'annidamento complesso degli elementi. Facilitando una rapida iterazione all'interno del motore, SPRITE offusca efficacemente i confini tra design artistico e implementazione tecnica nello sviluppo di giochi. Pagina del progetto: https://baiyunshu.github.io/sprite.github.io/

English

Game UI implementation requires translating stylized mockups into interactive engine entities. However, current "Screenshot-to-Code" tools often struggle with the irregular geometries and deep visual hierarchies typical of game interfaces. To bridge this gap, we introduce SPRITE, a pipeline that transforms static screenshots into editable engine assets. By integrating Vision-Language Models (VLMs) with a structured YAML intermediate representation, SPRITE explicitly captures complex container relationships and non-rectangular layouts. We evaluated SPRITE against a curated Game UI benchmark and conducted expert reviews with professional developers to assess reconstruction fidelity and prototyping efficiency. Our findings demonstrate that SPRITE streamlines development by automating tedious coding and resolving complex nesting. By facilitating rapid in-engine iteration, SPRITE effectively blurs the boundaries between artistic design and technical implementation in game development. Project page: https://baiyunshu.github.io/sprite.github.io/