INTACT: 探索不要の世界モデルのための同型的意図-行動学習

要旨

順方向潜在世界モデルは、行動がシーンをどのように変化させるかを予測するが、所望の変化に対する行動を回復するには、高コストなテスト時探索のみに頼ることになる。我々は、行動ラベル付きかつ報酬なしの軌道を、展開可能な意図-行動インターフェースへ変換するエンドツーエンドのJEPAであるINTACT（INtent-To-ACTion）を提案する。各遷移は物理的意図 z_{t+1}-z_t を提供し、将来の目標は展開意図 sg(z_g)-z_t を提供する。本アーキテクチャは、同一の4スロット文法と共有パラメータを通じて、局所および目標の動作意図バックボーン入力グラフ間で同型であり、また、点ごとの潜在表現の等価性ではなく同一予測器によって誘導される行動法則の意味論を通じて、対応する局所および目標の動作意図族間で同型である。INTACTはさらに、RGB証拠から行動に有効な潜在意図座標への完全な転移と、意図族から対応する行動法則族への完全な転移を提供する。非対称な端点勾配は物理的後続状態を定位し、将来の目標をアンカーとして固定することで、点ごとの潜在表現マッチングや大域的に線形なダイナミクスを必要とせずに、表現学習と制御を結合する。得られた座標は頑健な分布型行動法則を支える。すなわち、その条件付き平均は探索不要の方策として直接機能し、一方でサンプリングは多様性や任意の検証のために引き続き利用可能である。公式の4つのLeWMタスクにおいて、1エポック・ゼロ探索モデルは85.78%、100.00%、97.67%、97.89%の成功率を達成する。Directプランを中心とした任意の局所CEMは、9,000個の代わりに384個の候補系列を用いて96.86%のマクロ成功率を達成し、サンプリングを23.44倍削減しつつ、純粋なCEMを16.00ポイント改善する。共有された単一の4タスク用エンコーダは89.39%のE5 Directマクロを達成し、共同訓練されたLeWMを全タスクで上回る。一方、予測-専門家の行動族kNNはDirect成功率とr=0.954で相関する。Direct推論には2.9〜5.5ミリ秒を要する。

English

Forward latent world models predict how actions change a scene, but recover actions for a desired change only through expensive test-time search. We introduce INTACT (INtent-To-ACTion), an end-to-end JEPA that turns action-labeled, reward-free trajectories into a deployable intent-to-action interface. Each transition supplies physical intent z_{t+1}-z_t, while a future goal supplies deployment intent sg(z_g)-z_t. The architecture is isomorphic between the local and goal motion-intent backbone-input graphs through an identical four-slot grammar and shared parameters, and between supported local and goal motion-intent families through action-law semantics induced by the same predictor rather than pointwise latent equality. INTACT also provides intact transfer from RGB evidence to action-effective latent intent coordinates and from intent families to their corresponding action-law families. Asymmetric endpoint gradients ground physical successors and fix future goals as anchors, joining representation learning and control without pointwise latent matching or globally linear dynamics. The resulting coordinates support a robust distributional action law: its conditional mean serves directly as a search-free policy, while sampling remains available for diversity or optional verification. On the four official LeWM tasks, one-epoch, zero-search models reach 85.78\%, 100.00\%, 97.67\%, and 97.89\% success. Optional local CEM centered on the Direct plan reaches 96.86\% macro success using 384 instead of 9,000 candidate sequences, reducing sampling by 23.44times while improving pure CEM by 16.00 points. One shared four-task encoder reaches 89.39\% E5 Direct macro and improves every task over jointly trained LeWM, while predicted--expert action-family kNN tracks Direct success at r=0.954. Direct inference takes 2.9--5.5 ms.