SPRITE: Von statischen Mockups zur engine-fertigen Spieloberfläche
SPRITE: From Static Mockups to Engine-Ready Game UI
March 18, 2026
Autoren: Yunshu Bai, RuiHao Li, Hao Zhang, Chien Her Lim, Ming Yan, Mengtian Li
cs.AI
Zusammenfassung
Die Implementierung von Game-UI erfordert die Übersetzung von stilisierten Mockups in interaktive Engine-Entitäten. Aktuelle "Screenshot-to-Code"-Werkzeuge stoßen jedoch häufig an ihre Grenzen bei den unregelmäßigen Geometrien und tiefen visuellen Hierarchien, die typisch für Spieloberflächen sind. Um diese Lücke zu schließen, stellen wir SPRITE vor, eine Pipeline die statische Screenshots in editierbare Engine-Assets umwandelt. Durch die Integration von Vision-Language-Models (VLMs) mit einer strukturierten YAML-Zwischendarstellung erfasst SPRITE explizit komplexe Container-Beziehungen und nicht-rechteckige Layouts. Wir evaluierten SPRITE anhand eines kuratierten Game-UI-Benchmarks und führten Expertenbefragungen mit professionellen Entwicklern durch, um die Rekonstruktionsgenauigkeit und Prototyping-Effizienz zu bewerten. Unsere Ergebnisse zeigen, dass SPRITE die Entwicklung durch Automatisierung aufwändiger Programmierarbeit und die Auflösung komplexer Verschachtelungen optimiert. Indem SPRITE schnelle Iterationen innerhalb der Engine ermöglicht, verwischt es effektiv die Grenzen zwischen künstlerischem Design und technischer Implementierung in der Spieleentwicklung. Projektseite: https://baiyunshu.github.io/sprite.github.io/
English
Game UI implementation requires translating stylized mockups into interactive engine entities. However, current "Screenshot-to-Code" tools often struggle with the irregular geometries and deep visual hierarchies typical of game interfaces. To bridge this gap, we introduce SPRITE, a pipeline that transforms static screenshots into editable engine assets. By integrating Vision-Language Models (VLMs) with a structured YAML intermediate representation, SPRITE explicitly captures complex container relationships and non-rectangular layouts. We evaluated SPRITE against a curated Game UI benchmark and conducted expert reviews with professional developers to assess reconstruction fidelity and prototyping efficiency. Our findings demonstrate that SPRITE streamlines development by automating tedious coding and resolving complex nesting. By facilitating rapid in-engine iteration, SPRITE effectively blurs the boundaries between artistic design and technical implementation in game development. Project page: https://baiyunshu.github.io/sprite.github.io/