TurboVLA: RTX 4090에서 1GB 미만의 VRAM으로 32Hz로 동작하는 실시간 비전-언어-행동 모델

초록

비전-언어-행동(VLA) 모델은 일반적으로 LLM 중심의 V→L→A 경로를 채택하는데, 이는 시각적 관찰을 대규모 언어 모델의 표현 공간에 투영한 후 로봇 행동으로 디코딩하는 방식이다. 효과적이지만, 이러한 설계는 정책 호출 시마다 상당한 계산 및 메모리 오버헤드를 발생시킨다. 본 연구에서는 기존의 V→L→A 경로를 직접적인 V+L→A 매핑으로 재구성하는 새로운 VLA 패러다임인 TurboVLA를 소개한다. TurboVLA는 대규모 언어 모델을 인식과 행동 사이의 중앙 인터페이스로 사용하는 대신, 시각적 관찰과 언어 명령을 독립적으로 인코딩하고, 경량 양방향 비전-언어 상호작용을 통해 이들 간에 정보를 직접 교환하며, 소형 디코더로 연속적인 행동 청크를 예측한다. 이 간단한 설계는 시각 및 언어 특징으로부터 직접 작업 조건화 표현을 구성하여, VLA 추론의 계산 및 메모리 비용을 크게 줄인다. LIBERO 벤치마크에서 TurboVLA는 0.2B 파라미터, 31.2ms 추론 지연 시간, 그리고 소비자용 RTX 4090에서 0.9GB의 추론 VRAM만으로 평균 97.7%의 성공률을 달성하며, 훨씬 더 큰 VLA 정책들과 동등하거나 더 나은 성능을 보인다. 이러한 결과는 TurboVLA가 주류 LLM 중심 VLA 패러다임에 대한 간단하고 효과적인 대안임을 입증하며, 효율적인 로봇 조작을 위해 비전, 언어, 행동이 어떻게 연결될 수 있는지에 대한 새로운 관점을 제시한다. 코드는 https://github.com/H-EmbodVis/TurboVLA에서 확인할 수 있다.

English

Vision-language-action (VLA) models commonly adopt an LLM-centric V to L to A pathway, where visual observations are projected into the representation space of a large language model before being decoded into robot actions. Although effective, this design incurs substantial computation and memory overhead at every policy invocation. In this work, we introduce TurboVLA, a new VLA paradigm that reformulates the conventional V to L to A pathway as a direct V + L to A mapping. Instead of using a large language model as the central interface between perception and action, TurboVLA independently encodes visual observations and language instructions, directly exchanges information between them through lightweight bidirectional vision-language interaction, and predicts continuous action chunks with a compact decoder. This simple design constructs task-conditioned representations directly from visual and linguistic features, significantly reducing the computational and memory costs of VLA inference. On LIBERO, TurboVLA achieves 97.7% average success with only 0.2B parameters, 31.2 ms inference latency, and 0.9 GB inference VRAM on a consumer-grade RTX 4090, matching or outperforming substantially larger VLA policies. These results establish TurboVLA as a simple and effective alternative to the prevailing LLM-centric VLA paradigm, offering a new perspective on how vision, language, and action can be connected for efficient robotic manipulation. Code is available at https://github.com/H-EmbodVis/TurboVLA.