クオ・ヴァディス、ワールドモデリング？

要旨

継続的に改善するエージェントには、静的な教師信号を超えた動的なインタラクションフィードバックが必要である。しかし、実環境での直接的なインタラクションはコストが高く、時間がかかり、安全性に欠け、並列化も困難である。ワールドモデリングは、エージェントが実際の行動に踏み切る前に、より低コストで制御しやすいフィードバックを照会することを可能にする自然な中間プロキシを提供する。古典的なワールドモデルは、このプロキシを主に将来の物理状態予測を通じて具現化している。この定式化は有用ではあるものの、生の状態遷移を超えた実行可能なフィードバックを必要とするエージェントにとっては、その範囲が狭すぎる。本研究では、エージェント中心のインタラクティブワールドプロキシ（Agent-Centric Interactive World Proxies）を概念化する。これは、基本的なパラダイムを物理状態遷移から、実行結果、取得された経験やスキル、検証シグナルといったエージェントが利用可能な情報遷移へと転換するものであり、継続的に改善するエージェントに多用途なフィードバックを提供するべくワールドモデリングの適用範囲を拡張する。この設計空間を体系的に整理するため、我々はワールドプロキシをそのフィードバック様式に基づいて、ダイナミクス、空間、実行、記憶・経験、スキル、報酬・検証の6つの機能形態に分類する。これらは、ワールドモデリングがエージェントの改善に寄与する主要な方法を総体的に特徴づけるものである。さらに、これらのプロキシがエージェントを3つの発展的レベルにわたってどのように強化するかを分析する。 L.1 推論時ガイダンス：プロキシの出力がコンテキスト内情報を豊かにし、より優れた意思決定を実現する。 L.2 学習時最適化：プロキシの出力がポリシー学習のための報酬、批評、または合成ロールアウトを生成する。 L.3 エージェント・プロキシ共進化：実環境からの証拠がプロキシとエージェントの両方を継続的に更新し、共進化を促進する。最終的に、本研究はワールドモデリングをエージェント中心のパラダイムとして再構築し、エージェントがより良く計画し、より速く学習し、継続的に進化することを可能にするワールドプロキシ構築のロードマップを確立するものである。

English

Continually improving agents require dynamic interaction feedback beyond static supervision, yet direct real-environment interaction is costly, slow, unsafe, and hard to parallelize. World modeling offers a natural intermediate proxy that allows agents to query lower-cost, more controllable feedback before committing to real actions. Classical world models instantiate this proxy primarily through future physical-state prediction, a formulation useful yet narrow for agents that require actionable feedback beyond raw state transitions. In this work, we conceptualize Agent-Centric Interactive World Proxies, shifting the fundamental paradigm from physical state transitions to agent-usable information transitions, such as execution outcomes, retrieved experiences or skills, and verification signals, broadening the scope of world modeling to provide versatile feedback for continually improving agents. To systematically map this design space, we organize world proxies into six functional forms based on their feedback modalities: dynamics, spatial, execution, memory/experience, skill, and reward/verification proxies, which together characterize the primary ways world modeling serves agent improvement. We further analyze how these proxies empower agents across three progressive levels: L.1 Inference-Time Guidance, where proxy outputs enrich in-context information for superior decisions; L.2 Training-Time Optimization, where proxy outputs yield rewards, critiques, or synthetic rollouts for policy learning; and L.3 Agent-Proxy Co-Evolution, where real-environment evidence continuously updates both the proxy and the agent for co-evolution. Ultimately, this work recasts world modeling into an agent-centric paradigm, establishing a roadmap for building world proxies that empower agents to plan better, learn faster, and evolve continually.