CogVLA：指示駆動型ルーティング＆スパース化による認知整合型視覚-言語-行動モデル

要旨

最近のVision-Language-Action（VLA）モデルは、事前学習済みのVision-Language Models（VLMs）を基盤として構築されていますが、大規模な追加学習を必要とし、その結果、高い計算コストがかかり、スケーラビリティと展開が制限されています。本論文では、CogVLAというCognition-Aligned Vision-Language-Actionフレームワークを提案します。このフレームワークは、指示駆動型のルーティングとスパース化を活用して、効率と性能の両方を向上させます。CogVLAは、人間のマルチモーダル協調からインスピレーションを得て、3段階のプログレッシブアーキテクチャを導入しています。1) Encoder-FiLMベースのAggregation Routing（EFA-Routing）は、指示情報をビジョンエンコーダに注入し、デュアルストリームのビジュアルトークンを選択的に集約・圧縮して、指示を意識した潜在表現を形成します。2) このコンパクトなビジュアルエンコーディングを基盤として、LLM-FiLMベースのPruning Routing（LFP-Routing）は、指示に関連しない視覚的基盤トークンを刈り込むことで、アクション意図を言語モデルに導入し、トークンレベルのスパース性を実現します。3) 圧縮された知覚入力が、正確で一貫したアクション生成をサポートできるようにするために、V-L-A Coupled Attention（CAtten）を導入します。これは、因果的なビジョン-言語アテンションと双方向のアクションパラレルデコーディングを組み合わせたものです。LIBEROベンチマークと実世界のロボットタスクでの広範な実験により、CogVLAがOpenVLAと比較して、トレーニングコストを2.5倍削減し、推論遅延を2.8倍減少させながら、それぞれ97.4%と70.0%の成功率で最先端の性能を達成することが実証されました。CogVLAはオープンソース化されており、https://github.com/JiuTian-VL/CogVLAで公開されています。

English

Recent Vision-Language-Action (VLA) models built on pre-trained Vision-Language Models (VLMs) require extensive post-training, resulting in high computational overhead that limits scalability and deployment.We propose CogVLA, a Cognition-Aligned Vision-Language-Action framework that leverages instruction-driven routing and sparsification to improve both efficiency and performance. CogVLA draws inspiration from human multimodal coordination and introduces a 3-stage progressive architecture. 1) Encoder-FiLM based Aggregation Routing (EFA-Routing) injects instruction information into the vision encoder to selectively aggregate and compress dual-stream visual tokens, forming a instruction-aware latent representation. 2) Building upon this compact visual encoding, LLM-FiLM based Pruning Routing (LFP-Routing) introduces action intent into the language model by pruning instruction-irrelevant visually grounded tokens, thereby achieving token-level sparsity. 3) To ensure that compressed perception inputs can still support accurate and coherent action generation, we introduce V-L-A Coupled Attention (CAtten), which combines causal vision-language attention with bidirectional action parallel decoding. Extensive experiments on the LIBERO benchmark and real-world robotic tasks demonstrate that CogVLA achieves state-of-the-art performance with success rates of 97.4% and 70.0%, respectively, while reducing training costs by 2.5-fold and decreasing inference latency by 2.8-fold compared to OpenVLA. CogVLA is open-sourced and publicly available at https://github.com/JiuTian-VL/CogVLA.

CogVLA：指示駆動型ルーティング＆スパース化による認知整合型視覚-言語-行動モデル

CogVLA: Cognition-Aligned Vision-Language-Action Model via Instruction-Driven Routing & Sparsification

要旨

Support