心的世界モデリング

要旨

世界モデルは計画と行動のための予測基盤を提供するが、既存の定式化は、何がどこにあり、それがどのように進化するのかという物理的な問いに答えるのみである。しかし、人間の行動は隠れた心的状態(その人が何を信じ、何を望み、何を意図し、何を感じ、何が社会的に許容されると考えるか)によって駆動される。したがって、物理的シーンを追跡しても、各エージェントがそのシーンについて何を知り信じているかを追跡しないモデルは、正しく見えるシーンに対して誤った行動を予測することになる。我々は、心的変数を事後的な説明ではなく世界モデルの中核的構成要素とする汎用理論的枠組みである心的世界モデリング(MWM)を定式化する。MWMは、結合された物理-心的世界状態を維持し、ターゲット特異的な部分観測をレンダリングし、候補行動が両構成要素をどのように共同で更新するかをシミュレートする。我々はこの枠組みをMENTISとして具現化する。MENTISは学習不要かつ完全に検証可能なベースラインであり、プロセスを状態解析、ターゲット観測生成、行動分解、結合された物理的・心的遷移、分岐レベルの価値評価に分解する。テキスト、画像、音声付き動画ストーリーにわたる、手動構築され品質管理された状況埋め込み型意思決定シナリオのデータセット上で、8つの現代のLLMベース世界モデルを用いた実験により、心的状態の明示的モデリングが人間の意思決定の予測に不可欠であることが実証された。さらに深い分析により、現在の心的世界モデリングのボトルネックが明らかになる。我々は、MWMが世界モデリングの次段階、すなわち物理的シーンのシミュレーションから、その中で行動する心のシミュレーションへの発展になると期待する。

English

World models enable a predictive substrate for planning and action, yet existing formulations merely answer a physical question: what/where it is, and how will it evolve. Human behavior, however, is driven by hidden mental state (what a person believes, wants, intends, feels, and considers socially permissible), so a model that tracks the physical scene but not what each agent knows and believes about it predicts the wrong action for the right-looking scene. We formulate Mental World Modeling (MWM), a generic theoretical framework that makes mental variables core components of a world model rather than posthoc rationales: MWM aintains a coupled physical-mental world state, renders a target-specific partial observation, and simulates how candidate actions jointly update both components. We instantiate the framework in MENTIS, a training-free and fully inspectable baseline that decomposes the process into state parsing, target-observation generation, action decomposition, coupled physical and mental transition, and branch-level value evaluation. On a manually constructed, quality-controlled dataset of situated decision scenarios spanning text, image, and sounding-video stories, experiments with 8 modern LLM-based world models demonstrate that explicitly modeling the mental state is essential for predicting human decisions. Deeper analyses further expose the bottlenecks of current mental world modeling. We expect MWM as a next stage of world modeling, from simulating physical scenes to simulating the minds that act in them.