SPRITE: От статичных макетов до готового к движку игрового интерфейса

SPRITE: From Static Mockups to Engine-Ready Game UI

March 18, 2026

Авторы: Yunshu Bai, RuiHao Li, Hao Zhang, Chien Her Lim, Ming Yan, Mengtian Li

cs.AI

Аннотация

Реализация игрового интерфейса требует преобразования стилизованных макетов в интерактивные сущности движка. Однако современные инструменты типа "Screenshot-to-Code" часто не справляются с нерегулярной геометрией и сложными визуальными иерархиями, характерными для игровых интерфейсов. Для преодоления этого разрыва мы представляем SPRITE — конвейер, преобразующий статические скриншоты в редактируемые ассеты движка. Интегрируя модели "Vision-Language" (VLM) со структурированным промежуточным представлением на основе YAML, SPRITE явно захватывает сложные отношения контейнеров и нерегулярные макеты. Мы оценили SPRITE на специально созданном бенчмарке игровых UI и провели экспертные обзоры с профессиональными разработчиками для оценки точности реконструкции и эффективности прототипирования. Наши результаты демонстрируют, что SPRITE упрощает разработку, автоматизируя рутинное кодирование и разрешая сложные вложенные структуры. Обеспечивая быструю итерацию непосредственно в движке, SPRITE эффективно стирает границы между художественным дизайном и технической реализацией в игровой разработке. Страница проекта: https://baiyunshu.github.io/sprite.github.io/

English

Game UI implementation requires translating stylized mockups into interactive engine entities. However, current "Screenshot-to-Code" tools often struggle with the irregular geometries and deep visual hierarchies typical of game interfaces. To bridge this gap, we introduce SPRITE, a pipeline that transforms static screenshots into editable engine assets. By integrating Vision-Language Models (VLMs) with a structured YAML intermediate representation, SPRITE explicitly captures complex container relationships and non-rectangular layouts. We evaluated SPRITE against a curated Game UI benchmark and conducted expert reviews with professional developers to assess reconstruction fidelity and prototyping efficiency. Our findings demonstrate that SPRITE streamlines development by automating tedious coding and resolving complex nesting. By facilitating rapid in-engine iteration, SPRITE effectively blurs the boundaries between artistic design and technical implementation in game development. Project page: https://baiyunshu.github.io/sprite.github.io/