H3-World: 言語理解から世界制御へ

要旨

我々は、33BのMiniMax-H3動画生成モデルを対話型世界モデルに変換する効率的なフレームワークH3-Worldを提案する。我々の重要な発見は、大規模な動画生成モデルがより高性能になるにつれて、言語が制御の自然なインターフェースとして現れつつあることである。例えば、MiniMax-H3はすでに、自然言語による指示を通じてキャラクターの行動とカメラモーションのゼロショット制御をサポートしている。これに基づきH3-Worldは、専用のアクションモジュールを導入することなく、この粗い言語インターフェースを、時間的に接地された精確な世界制御へと変換する。具体的には、各アクションをキャラクター指示とカメラ指示の構造化された組み合わせとして表現し、それらを対応する時間的動画の潜在表現と整列させる。制御を時間的に正確にするため、さらに時間的注意ルーティングを導入する。これは、各指示を意図した時間区間に限定し、アクション間の制御漏れを低減する。重要なことに、H3-Worldは大規模動画事前学習中に学習された意味表現を直接再利用し、軽量な適応のみを必要とする。わずか8,000のゲームプレイサンプル、10,000のLoRA最適化ステップ、および0.199%の学習可能パラメータで、H3-Worldは強力な生成品質を維持しながら、効果的なキャラクターおよびカメラ制御を達成する。また、未見のシナリオにも汎化する。これらの結果は、大規模な動画生成モデルに出現しつつある制御能力が、効率的に対話的な世界制御へと変換可能であることを示している。

English

We present H3-World, an efficient framework that turns the 33B MiniMax-H3 video generator into an interactive world model. Our key finding is that, as large video generators become more capable, language is emerging as a natural interface for control. MiniMax-H3, for example, already supports zero-shot control of character behavior and camera motion through natural-language instructions. Building on this, H3-World turns this coarse language interface into precise, temporally grounded world control, without introducing dedicated action modules. Specifically, we represent each action as a structured combination of character and camera instructions, and align them with the corresponding temporal video latents. To make the control temporally precise, we further introduce temporal attention routing, which restricts each instruction to its intended time interval and reduces control leakage across actions. Importantly, H3-World directly reuses the semantic representations learned during large-scale video pretraining and requires only lightweight adaptation. With only 8,000 gameplay samples, 10,000 LoRA optimization steps, and 0.199% trainable parameters, H3-World achieves effective character and camera control while preserving strong generation quality. It also generalizes to unseen scenarios. These results show that the control capabilities emerging in large video generators can be efficiently transformed into interactive world control.