πR^2: 반응형 실시간 흐름 정책

초록

범용 조작 정책은 점차 대규모 사전 훈련된 백본 위에 구축된 액션 청킹 플로우 정책의 형태를 띠고 있습니다. 이러한 청크는 개방 루프로 실행되므로, 정책이 실행 중간에 도착하는 감각 입력에 반응할 수 없어 반응성이 희생됩니다. 더 자주 재계획하면 반응성을 되찾을 수 있지만, 지각-행동 파이프라인(대규모 백본과 여러 노이즈 제거 단계)이 너무 느립니다. 이러한 지연으로 인해 빈번한 재계획이 불가능해지고, 실행 중인 행동이 시대에 뒤처져 이러한 정책은 동적 폐루프 제어에 부적합합니다. 본 논문은 이러한 정책을 반응적이고 실시간으로 만들면서도 대규모 백본, 표현력이 풍부한 다중 모달 정책, 다중 행동 예측을 유지하는 πR^2를 제시합니다. πR^2는 확산 강제(diffusion forcing)의 위치별 노이즈 스케줄을 기반으로 두 가지 아이디어를 기여합니다. 첫째, 조건화를 빠른 채널(고유 감각, 매 틱마다 새로운 정보)과 비동기적으로 업데이트되는 느린 채널(시각-언어 특징)로 분할하여, 정책이 청크 내에서 고유 감각에 반응하는 동시에 낡은 시각 정보를 허용합니다. 둘째, 지연 적응적 플로우 스케줄은 실행 중인 행동을 인페인팅 조건화로 처리하고 호출당 하나의 노이즈 제거 단계로 행동을 생성하여, 하나의 훈련된 모델이 다양한 하드웨어 지연에 적응할 수 있게 합니다. 기존 아키텍처에 최소한의 수정만을 요구하는 πR^2는 사전 훈련된 정책에서 미세 조정될 수 있습니다. 실제 xArm6+XHand 플랫폼에서 GR00T-N1.7에 적용한 결과, 기본 정책보다 약 4배 빠르게 폐루프 재계획을 수행하며(A5000 GPU에서 약 25Hz), 40ms마다 새로운 관측값에 반응합니다. 시뮬레이션 및 실제 조작 작업에서 πR^2는 가장 강력한 기준선 대비 시뮬레이션에서 최대 23%, 실제 환경에서 최대 30%의 성공률 향상을 보여줍니다. 프로젝트 페이지: https://pi-r2-flow.github.io/

English

Generalist manipulation policies increasingly take the form of action-chunking flow policies built on large pretrained backbones. Such chunks run open-loop, so the policy cannot react to sensory input arriving mid-execution, sacrificing reactivity. Replanning more often would restore it, but the perception-to-action pipeline (a large backbone plus multiple denoising steps) is too slow: this latency forbids frequent replanning and leaves committed actions stale, making such policies ill-suited for dynamic, closed-loop control. We present πR^2, which makes these policies reactive and real-time while retaining large backbones, expressive multi-modal policies, and multi-action prediction. Built on the per-position noise schedule of diffusion forcing, πR^2 contributes two ideas. First, it splits conditioning into a fast channel (proprioception, fresh every tick) and an asynchronously updated slow channel (vision-language features), so the policy reacts to proprioception within a chunk while tolerating stale vision. Second, a latency-adaptive flow schedule treats in-flight actions as inpainting conditioning and emits actions in one denoising step per call, letting one trained model adapt to varying hardware latency. Requiring minimal modification to existing architectures, πR^2 can be finetuned from a pretrained policy: applied to GR00T-N1.7 on a real xArm6+XHand platform, it replans closed-loop roughly 4times faster than the base policy (~25Hz on an A5000 GPU), acting on a fresh observation every 40ms. Across simulation and real-world manipulation tasks, πR^2 improves the success rate by up to 23% in simulation and 30% in the real world over the strongest baseline. Project page: https://pi-r2-flow.github.io/