πR^2: リアクティブ・リアルタイム・フローポリシー

要旨

汎用的な操作ポリシーは、大規模な事前学習済みバックボーン上に構築されたアクション・チャンキング・フローポリシーの形をとることが増えている。このようなチャンクは開ループで動作するため、実行中に得られる感覚入力に反応できず、応答性が犠牲になる。より頻繁な再計画を行えば応答性は回復するが、知覚から行動へのパイプライン（大規模バックボーンと複数のデノイジングステップ）は低速であり、このレイテンシが頻繁な再計画を妨げ、確定したアクションを古くしてしまう。そのため、このようなポリシーは動的で閉ループな制御には不向きである。本稿では、大規模バックボーン、表現力豊かなマルチモーダルポリシー、およびマルチアクション予測を維持しながら、これらのポリシーを応答性とリアルタイム性を備えたものにするπR^2を提案する。πR^2は、拡散フォーシングの位置ごとのノイズスケジュールに基づき、2つのアイデアを導入する。第一に、条件付けを高速チャネル（毎ティック更新されるプロプリオセプション）と非同期で更新される低速チャネル（視覚・言語特徴量）に分割し、古い視覚情報を許容しつつ、チャンク内でプロプリオセプションに反応できるようにする。第二に、レイテンシ適応型フロースケジュールにより、実行中のアクションをインペインティング条件として扱い、1回の呼び出しあたり1ステップのデノイジングでアクションを出力する。これにより、1つの訓練済みモデルがさまざまなハードウェアレイテンシに適応できる。πR^2は既存のアーキテクチャへの最小限の変更で済み、事前学習済みポリシーからファインチューニング可能である。実際のxArm6+XHandプラットフォーム上でGR00T-N1.7に適用したところ、基本ポリシーと比較して約4倍高速（A5000 GPU上で約25Hz）で閉ループ再計画を行い、40ミリ秒ごとに新しい観測に基づいて行動する。シミュレーションおよび実世界の操作タスクにおいて、πR^2は最強のベースラインと比較して、シミュレーションで最大23%、実世界で最大30%の成功率向上を達成した。プロジェクトページ: https://pi-r2-flow.github.io/

English

Generalist manipulation policies increasingly take the form of action-chunking flow policies built on large pretrained backbones. Such chunks run open-loop, so the policy cannot react to sensory input arriving mid-execution, sacrificing reactivity. Replanning more often would restore it, but the perception-to-action pipeline (a large backbone plus multiple denoising steps) is too slow: this latency forbids frequent replanning and leaves committed actions stale, making such policies ill-suited for dynamic, closed-loop control. We present πR^2, which makes these policies reactive and real-time while retaining large backbones, expressive multi-modal policies, and multi-action prediction. Built on the per-position noise schedule of diffusion forcing, πR^2 contributes two ideas. First, it splits conditioning into a fast channel (proprioception, fresh every tick) and an asynchronously updated slow channel (vision-language features), so the policy reacts to proprioception within a chunk while tolerating stale vision. Second, a latency-adaptive flow schedule treats in-flight actions as inpainting conditioning and emits actions in one denoising step per call, letting one trained model adapt to varying hardware latency. Requiring minimal modification to existing architectures, πR^2 can be finetuned from a pretrained policy: applied to GR00T-N1.7 on a real xArm6+XHand platform, it replans closed-loop roughly 4times faster than the base policy (~25Hz on an A5000 GPU), acting on a fresh observation every 40ms. Across simulation and real-world manipulation tasks, πR^2 improves the success rate by up to 23% in simulation and 30% in the real world over the strongest baseline. Project page: https://pi-r2-flow.github.io/