От пикселей к состояниям: переосмысление интерактивных моделей мира как игровых движков

Аннотация

Построение интерактивных миров, которые адекватно реагируют на действия игрока, издавна является общей целью компьютерной графики, игр и искусственного интеллекта. Современные видеогенеративные модели предлагают путь, основанный на данных, для достижения этой цели, предсказывая будущие наблюдения, обусловленные действиями пользователя, и всё чаще рассматриваются как потенциальные игровые движки следующего поколения. Однако реализация по-настоящему интерактивного игрового мира требует результатов взаимодействия, которые следуют правилам, применимым к меняющимся игровым условиям, последствий, сохраняющихся на длительных горизонтах, и цикла генерации, работающего в реальном времени. Традиционные игровые движки реализуют эти свойства через повторяющийся цикл «действие-состояние-наблюдение», в котором действия игрока обновляют явное состояние игры в соответствии с заданными правилами, а наблюдения визуализируются на основе полученного состояния. Используя этот цикл в качестве организующей призмы, данная статья рассматривает моделирование интерактивного игрового мира по четырём измерениям: контроль действий игрока, динамика состояний игры, сохранность связи «состояние-наблюдение» и интерактивная генерация в реальном времени. Для каждого измерения мы начинаем с требований, предъявляемых к интерактивному игровому миру, группируем существующие подходы в репрезентативные семейства и обсуждаем сильные стороны и компромиссы каждого семейства. В дополнение к этому анализу мы представляем масштабируемый механизм сбора данных для игры Black Myth: Wukong, который собирает более 90 часов игрового процесса с покадрово синхронизированными действиями игрока, эталонными состояниями игры и визуальными наблюдениями, а также структурированными и семантическими аннотациями, в качестве ресурса для моделирования игрового мира с учётом состояний. Мы надеемся, что данная статья даёт чёткое представление о текущем состоянии области и способствует прогрессу в направлении интерактивных игровых миров.

English

Building interactive worlds that respond coherently to player actions has long been a shared goal of computer graphics, games, and artificial intelligence. Recent video generative models provide a data-driven route toward this goal by predicting future observations conditioned on user actions, and are increasingly regarded as potential next-generation game engines. Realizing a genuinely interactive game world, however, requires interaction outcomes that follow rules over evolving game conditions, consequences that persist over long horizons, and a generation loop that operates in real time. Conventional game engines realize these properties through a recurrent action-state-observation loop, in which player actions update an explicit game state according to predefined rules and observations are rendered from the resulting state. Taking this loop as an organizing lens, this paper examines interactive game world modeling along four dimensions: player action control, game state dynamics, state-observation persistence, and real-time interactive generation. For each dimension, we start from the capabilities required by an interactive game world, group existing approaches into representative families, and discuss the strengths and trade-offs of each family. Complementing this analysis, we present a scalable data engine for Black Myth: Wukong that collects over 90 hours of gameplay with frame-aligned player actions, ground-truth game states, and visual observations, together with structured and semantic annotations, as a resource for state-aware game world modeling. We hope this paper offers a clear picture of where the field stands and fosters progress toward interactive game worlds.