SPRITE: Van statische ontwerpen naar engine-gereed spel UI
SPRITE: From Static Mockups to Engine-Ready Game UI
March 18, 2026
Auteurs: Yunshu Bai, RuiHao Li, Hao Zhang, Chien Her Lim, Ming Yan, Mengtian Li
cs.AI
Samenvatting
De implementatie van game UI vereist het vertalen van gestileerde mockups naar interactieve engine-entiteiten. Huidige "Screenshot-to-Code" tools hebben echter vaak moeite met de onregelmatige geometrieën en diepe visuele hiërarchieën die typisch zijn voor game-interfaces. Om deze kloof te overbruggen, introduceren we SPRITE, een pijplijn die statische schermafbeeldingen omzet in bewerkbare engine-assets. Door Vision-Language Models (VLM's) te integreren met een gestructureerde YAML-tussenrepresentatie, vangt SPRITE expliciet complexe containerrelaties en niet-rechthoekige lay-outs op. We evalueerden SPRITE aan de hand van een samengestelde Game UI-benchmark en voerden expertbeoordelingen uit met professionele ontwikkelaars om de reconstructienauwkeurigheid en prototype-efficiëntie te beoordelen. Onze bevindingen tonen aan dat SPRITE de ontwikkeling stroomlijnt door vervelend programmeerwerk te automatiseren en complexe nesting op te lossen. Door snelle iteratie in de engine te vergemakkelijken, vervaagt SPRITE effectief de grenzen tussen artistiek ontwerp en technische implementatie in game-ontwikkeling. Projectpagina: https://baiyunshu.github.io/sprite.github.io/
English
Game UI implementation requires translating stylized mockups into interactive engine entities. However, current "Screenshot-to-Code" tools often struggle with the irregular geometries and deep visual hierarchies typical of game interfaces. To bridge this gap, we introduce SPRITE, a pipeline that transforms static screenshots into editable engine assets. By integrating Vision-Language Models (VLMs) with a structured YAML intermediate representation, SPRITE explicitly captures complex container relationships and non-rectangular layouts. We evaluated SPRITE against a curated Game UI benchmark and conducted expert reviews with professional developers to assess reconstruction fidelity and prototyping efficiency. Our findings demonstrate that SPRITE streamlines development by automating tedious coding and resolving complex nesting. By facilitating rapid in-engine iteration, SPRITE effectively blurs the boundaries between artistic design and technical implementation in game development. Project page: https://baiyunshu.github.io/sprite.github.io/