Foresight: 行動条件付き世界モデル潜在表現を用いた長期視野ロボット操作における失敗検出

要旨

長期的タスクは実世界のロボット展開において一般的であるが、そのようなタスクに対する失敗検出は未だ十分に研究されていない。長期的なロボットタスクにおける失敗の検出は、失敗の兆候が曖昧であることが多く、時間的に密なアノテーションが通常利用できないため、特に困難である。本稿では、行動条件付きワールドモデルからの潜在表現を用いて操作軌跡を監視する失敗検出フレームワークForesightを提案する。Foresightは、タスクレベルの最終的な成功または失敗ラベルのみを使用して訓練される。予測的なワールドモデル埋め込みを活用することで、本手法は異なるポリシー間で統一された失敗検出フレームワークを提供する。さらに、関数型コンフォーマル予測（FCP）を用いて検出閾値を適応的に較正する。Foresightを、シミュレーション環境LIBERO-Long、ManiSkill-Long、BEHAVIOR-1Kにおいて最先端の視覚言語行動ポリシーとともに評価し、最先端の失敗検出手法と比較するとともに、実ロボットにおいてReactorX-200アームを用いた3つの長期的タスクとFrankaアームを用いた1つのタスクで検証した。実験結果は、行動条件付きワールドモデル埋め込みが、長期的な操作における信頼性の高い失敗監視のためのスケーラブルな表現を提供することを示唆している。

English

Long-horizon tasks are common in real-world robotic deployments, yet failure detection for such tasks remains underexplored. Detecting failures in long-horizon robotic tasks is particularly challenging because failure onset is often ambiguous and dense temporal annotations are typically unavailable. We present Foresight, a failure detection framework that monitors manipulation trajectories using latent representations from an action-conditioned world model. Foresight is trained using only final task-level success or failure labels. By leveraging predictive world-model embeddings, our method provides a unified framework for failure detection across different policies. We further use functional conformal prediction (FCP) to calibrate detection thresholds adaptively. We evaluate Foresight with state-of-the-art vision-language-action policies in simulation on LIBERO-Long, ManiSkill-Long, and BEHAVIOR-1K, compare it against state-of-the-artfailure detection methods, and validate it on real robots with three long-horizon tasks on a ReactorX-200 arm and one task on a Franka arm. Our results suggest that action-conditioned world-model embeddings provide a scalable representation for reliable failure monitoring in long-horizon manipulation.