TurboVLA: RTX 4090上、1 GB未満のVRAMで32Hz動作可能なリアルタイム視覚言語行動モデル

要旨

視覚言語行動（VLA）モデルは一般的に、LLM中心のV→L→Aパスを採用しており、視覚観測を大規模言語モデルの表現空間に射影した後、ロボットの行動にデコードする。効果的ではあるが、この設計はポリシー呼び出しのたびに大きな計算とメモリのオーバーヘッドを生じる。本研究では、従来のV→L→Aパスを直接的なV+L→Aマッピングとして再構成する新しいVLAパラダイム、TurboVLAを提案する。TurboVLAは、大規模言語モデルを知覚と行動の中心的なインターフェースとして使用する代わりに、視覚観測と言語命令を独立してエンコードし、軽量な双方向視覚言語相互作用を通じてそれらの間で直接情報を交換し、コンパクトなデコーダで連続的な行動チャンクを予測する。このシンプルな設計は、視覚特徴と言語特徴から直接タスク条件付き表現を構築し、VLA推論の計算コストとメモリコストを大幅に削減する。LIBEROにおいて、TurboVLAはわずか0.2Bパラメータ、31.2msの推論レイテンシ、コンシューマグレードのRTX 4090上で0.9GBの推論VRAMで平均成功率97.7%を達成し、はるかに大規模なVLAポリシーと同等かそれ以上である。これらの結果は、TurboVLAが主流のLLM中心のVLAパラダイムに対するシンプルで効果的な代替手法であり、効率的なロボット操作のための視覚、言語、行動の接続方法に関する新たな視点を提供することを示している。コードはhttps://github.com/H-EmbodVis/TurboVLAで入手できる。

English

Vision-language-action (VLA) models commonly adopt an LLM-centric V to L to A pathway, where visual observations are projected into the representation space of a large language model before being decoded into robot actions. Although effective, this design incurs substantial computation and memory overhead at every policy invocation. In this work, we introduce TurboVLA, a new VLA paradigm that reformulates the conventional V to L to A pathway as a direct V + L to A mapping. Instead of using a large language model as the central interface between perception and action, TurboVLA independently encodes visual observations and language instructions, directly exchanges information between them through lightweight bidirectional vision-language interaction, and predicts continuous action chunks with a compact decoder. This simple design constructs task-conditioned representations directly from visual and linguistic features, significantly reducing the computational and memory costs of VLA inference. On LIBERO, TurboVLA achieves 97.7% average success with only 0.2B parameters, 31.2 ms inference latency, and 0.9 GB inference VRAM on a consumer-grade RTX 4090, matching or outperforming substantially larger VLA policies. These results establish TurboVLA as a simple and effective alternative to the prevailing LLM-centric VLA paradigm, offering a new perspective on how vision, language, and action can be connected for efficient robotic manipulation. Code is available at https://github.com/H-EmbodVis/TurboVLA.