Game2World Engine: In-the-Wildゲームプレイ動画を活用した世界モデル学習

要旨

ビデオゲームは、ビデオワールドモデルのトレーニングデータとしてスケーラブルな供給源を提供し、多様な環境、複雑なインタラクション、そして豊富な実世界のゲームプレイ動画を備えている。しかし、生のゲームプレイ映像は、ゲーム世界とスクリーンスペースのインターフェースが絡み合っており、ゲーム固有のバイアスや無関係なダイナミクスを導入することで、ワールドモデルのトレーニングを妨げる。この問題に対処するため、我々はGameUI-Taxonomyと、ゲームプレイUIのグラウンディングと除去を体系化するフルスタックフレームワークであるG2WEngineを紹介する。G2WEngineは、実際のゲームプレイ動画から再利用可能なUIアセットを自動的に抽出し、クリーンな映像上に時間的に一貫性のあるUIオーバーレイを合成する。このエンジンを用いて、正確な再構築ターゲットを持つ96Kの合成ペア動画と、現実的な評価のための303ゲームからの1,079本の実世界クリップから構成されるGame2Worldを構築する。そのアセットライブラリには、1,010枚の代表的なゲームプレイフレームから収集された、21のタクソノミーカテゴリにわたる5,132の検証済みUI要素が含まれている。Game2Worldに基づき、我々はマルチモーダルな意味理解とビデオ編集機能を組み合わせた、マスクフリーのゲームプレイUI除去モデルであるGameCleanerを提案する。マスクベースの手法とは異なり、GameCleanerは、基盤となるシーンコンテンツと時間的ダイナミクスを保持しながら、多様なHUD要素を直接識別して除去する。管理されたパイロット実験では、UIなしのゲームプレイでトレーニングされたワールドモデルは、UIオーバーレイデータでトレーニングされたモデルよりも、全体的なVideoRewardを6.83%向上させる。UI除去評価では、GameCleanerは合成動画において平均AAR 95.36を達成し、最強の時間的マスクベースラインを57.3%上回り、実世界では最高のAAR 80.05と99.8%の背景保存を達成する。これらの結果は、インターネット上のゲームプレイ動画を高品質なワールドモデルのトレーニングデータへと変換する、スケーラブルな可能性を示している。コード、データセット、モデルはhttps://github.com/Dongping-Chen/Game2Worldで公開予定である。

English

Video games provide a scalable source of training data for video world models, offering diverse environments, complex interactions, and abundant in-the-wild gameplay videos. However, raw gameplay footage entangles the game world with screen-space interfaces, introducing game-specific biases and irrelevant dynamics that hinder world-model training. To address this problem, we introduce GameUI-Taxonomy and G2WEngine, a full-stack framework that formalizes gameplay UI grounding and removal. G2WEngine automatically extracts reusable UI assets from real gameplay videos and synthesizes temporally coherent UI overlays on clean footage. Using this engine, we construct Game2World, comprising 96K synthetic paired videos with precise reconstruction targets and 1,079 in-the-wild clips from 303 games for realistic evaluation. Its asset library contains 5,132 verified UI elements across 21 taxonomy categories, collected from 1,010 representative gameplay frames. Based on Game2World, we propose GameCleaner, a mask-free gameplay UI removal model that combines multimodal semantic understanding with video editing capabilities. Unlike mask-based methods, GameCleaner directly identifies and removes diverse HUD elements while preserving the underlying scene content and temporal dynamics. In a controlled pilot, world models trained on UI-free gameplay improve overall VideoReward by 6.83% over those trained on UI-overlaid data. On UI-removal evaluation, GameCleaner achieves an average AAR of 95.36 on synthetic videos, outperforming the strongest temporal mask baseline by 57.3%, and obtains the best in-the-wild AAR of 80.05 with 99.8 background preservation. These results demonstrate the scalable potential of transforming Internet gameplay videos into high-quality world-model training data. Code, dataset, and model will be available at https://github.com/Dongping-Chen/Game2World.