StreamPI: 비전-언어-행동 모델을 위한 스트리밍 멀티모달 시간적 모델링

초록

VLA(비전-언어-행동) 모델은 로봇 조작 작업에서 효과성을 입증해 왔으나, pi0.5와 같은 최첨단 모델은 단일 프레임 패러다임으로 작동하여 과거 관측 정보를 유지하고 정밀한 공간 지각을 발달시키는 데 한계가 있다. 본 논문에서는 단일 프레임 VLA에 추가 파라미터 없이 시간적 추론 능력을 부여하는 스트리밍 멀티모달 시간적 모델링 프레임워크인 StreamPI를 제안한다. 핵심 설계 중 하나는 명령 기반(instruction-anchored) 시간적 모델링이다. 이는 각 (시각 관측, 언어 명령) 쌍을 원자적 시간 단위로 취급한다. 쌍 내부의 양방향 어텐션은 교차 모달 융합을 가능하게 하고, 쌍 간의 인과적 어텐션은 자기회귀적 스트리밍 추론을 보존한다. 이를 통해 언어 명령이 작업 실행 전반에 걸쳐 지속적인 의미적 앵커로 기능하도록 보장한다. 동기식 훈련과 비동기식 실로봇 배포 간의 격차를 해소하기 위해 무작위 간격 스트리밍 훈련 전략을 도입한다. 적절한 프레임 간 간격(예: 3프레임마다)은 더 빠르고 부드러운 행동 실행을 가능하게 한다. 나아가 간격을 무작위화하면 프레임 타이밍 변동에 대한 견고성이 향상되어 실제 배포에서 비동기식 작동을 지원한다. 또한, LLM 백본의 길이 외삽 능력을 활용함으로써 StreamPI는 사전 훈련된 단일 프레임 가중치를 원활하게 계승하며 유연한 단일 프레임 및 다중 프레임 추론을 지원한다. 메모리 의존적 시나리오와 정밀 지각 시나리오를 포괄하는 실제 로봇 작업과 시뮬레이션 벤치마크 LIBERO에 대한 실험은 StreamPI가 다양한 작업에서 pi0.5를 능가함을 입증한다.

English

Vision-Language-Action (VLA) models have demonstrated effectiveness in robot manipulation, yet state-of-the-art models such as pi0.5 operate under a single-frame paradigm, limiting their ability to retain past observations and develop precise spatial perception. In this paper, we propose StreamPI, a streaming multimodal temporal modeling framework that equips single-frame VLA with temporal reasoning capability without introducing any additional parameters. One core design is instruction-anchored temporal modeling. It treats each (visual observation, language instruction) pair as an atomic temporal unit: bidirectional attention within each pair enables cross-modal fusion, while causal attention across pairs preserves autoregressive streaming inference. This ensures the language instruction serves as a persistent semantic anchor throughout task execution. To bridge the gap between synchronous training and asynchronous real-robot deployment, we introduce a andom-interval streaming training strategy: a proper inter-frame interval (e.g., every 3 frames) enables faster and smoother action execution. Beyond this, randomizing the interval further improves robustness to frame-timing perturbations, supporting asynchronous deployment in practice. Furthermore, by leveraging the length extrapolation capability of the LLM backbone, StreamPI seamlessly inherits pretrained single-frame weights and supports flexible single-frame and multi-frame inference. Experiments on real-robot tasks spanning memory-dependent and precise perception scenarios, as well as the simulation benchmark LIBERO, demonstrate that StreamPI outperforms pi0.5 across diverse tasks.