PhysCaP: 物理知識に基づく探索によるCode-as-Policyエージェントの接地

要旨

我々は、ロボット操作における能動的知覚のためのPhysics-Informed Code-as-PolicyエージェントであるPhysCaPを提案する。視覚-言語-行動ポリシーはデモの模倣に優れている一方で、受動的観察に依存しており、操作に重要な潜在的な物理特性を推論できない。PhysCaPは、コード・アズ・ポリシーフレームワークに、相互作用を通じた明示的な情報探索を可能にする物理情報に基づく探索層を追加する。これは、追加センサーを用いずにロボットの自己受容感覚から物体の質量と剛性を推定する、学習不要の物理特性抽出モジュールを導入する。探索コストと得られる情報の効率性のバランスを取るため、PhysCaPは二重エージェント設計を採用する：いつ探索し、いつ停止するかを決定するプランナーと、非現実的な相互作用をフィルタリングし、ヒューリスティックな優先度スコアを用いて残りをランク付けする優先度付け器である。これにより、効率的で的を絞った探索が可能になる。我々は、実世界の卓上操作タスク（隠れた物体の探索、空き缶の検出、熟したアボカドの発見）とLIBEROにおけるシミュレーションタスクでPhysCaPを評価する。結果は、既存の受動的および単純な対話型ベースラインが、物理特性が隠されている場合に失敗するか、過剰に探索するのに対し、PhysCaPはより少ない相互作用と短い実行時間で同等の性能を達成することを示している。アブレーション研究は、提案された物理特性抽出モジュールの有効性をさらに検証する。プロジェクトページ：https://physcap.github.io

English

We present PhysCaP, a Physics-Informed Code-as-Policy agent for active perception in robotic manipulation. While vision-language-action policies excel at imitating demonstrations, they rely on passive observation and fail to infer latent physical properties critical for manipulation. PhysCaP augments code-as-policy frameworks with a physics-informed exploration layer that enables explicit information-seeking through interaction. It introduces training-free physical property extraction modules that estimate object mass and stiffness from robot proprioception without additional sensors. To balance exploration costs and the efficiency of information obtained, PhysCaP employs a dual-agent design: a Planner that decides when to explore and when to stop, and a Prioritizer that filters implausible interactions and ranks the remainder using a heuristic priority score, enabling efficient, targeted exploration. We evaluate PhysCaP on real-world tabletop manipulation tasks (searching for hidden objects, detecting empty cans, and finding ripe avocados) and a simulated task in LIBERO. The results show that existing passive and naive interactive baselines either fail when physical properties are hidden or over-explore, whereas PhysCaP achieves comparable performance with fewer interactions and reduced execution time. Ablation studies further validate the effectiveness of the proposed physical property extraction modules. Project page: https://physcap.github.io