SPRITE : Des maquettes statiques à l'interface utilisateur de jeu prête pour le moteur

SPRITE: From Static Mockups to Engine-Ready Game UI

March 18, 2026

Auteurs: Yunshu Bai, RuiHao Li, Hao Zhang, Chien Her Lim, Ming Yan, Mengtian Li

cs.AI

Résumé

La mise en œuvre de l'interface utilisateur (UI) de jeu nécessite de traduire des maquettes stylisées en entités interactives du moteur de jeu. Cependant, les outils actuels de « capture d'écran vers code » peinent souvent avec les géométries irrégulières et les hiérarchies visuelles complexes typiques des interfaces de jeu. Pour combler cette lacune, nous présentons SPRITE, un pipeline qui transforme des captures d'écran statiques en ressources modifiables pour le moteur. En intégrant des modèles vision-langage (VLM) avec une représentation intermédiaire structurée en YAML, SPRITE capture explicitement les relations complexes entre conteneurs et les mises en page non rectangulaires. Nous avons évalué SPRITE sur un benchmark d'UI de jeu spécialement conçu et mené des entretiens avec des développeurs professionnels pour évaluer la fidélité de reconstruction et l'efficacité du prototypage. Nos résultats démontrent que SPRITE rationalise le développement en automatisant le codage fastidieux et en résolvant les imbrications complexes. En facilitant l'itération rapide dans le moteur, SPRITE estompe efficacement les frontières entre la conception artistique et la mise en œuvre technique dans le développement de jeux. Page du projet : https://baiyunshu.github.io/sprite.github.io/

English

Game UI implementation requires translating stylized mockups into interactive engine entities. However, current "Screenshot-to-Code" tools often struggle with the irregular geometries and deep visual hierarchies typical of game interfaces. To bridge this gap, we introduce SPRITE, a pipeline that transforms static screenshots into editable engine assets. By integrating Vision-Language Models (VLMs) with a structured YAML intermediate representation, SPRITE explicitly captures complex container relationships and non-rectangular layouts. We evaluated SPRITE against a curated Game UI benchmark and conducted expert reviews with professional developers to assess reconstruction fidelity and prototyping efficiency. Our findings demonstrate that SPRITE streamlines development by automating tedious coding and resolving complex nesting. By facilitating rapid in-engine iteration, SPRITE effectively blurs the boundaries between artistic design and technical implementation in game development. Project page: https://baiyunshu.github.io/sprite.github.io/