CogVLA: Cognitie-afgestemd Visie-Taal-Actie Model via Instructie-gestuurde Routering & Versobering

CogVLA: Cognition-Aligned Vision-Language-Action Model via Instruction-Driven Routing & Sparsification

August 28, 2025

Auteurs: Wei Li, Renshan Zhang, Rui Shao, Jie He, Liqiang Nie

cs.AI

Samenvatting

Recente Vision-Language-Action (VLA) modellen, gebouwd op vooraf getrainde Vision-Language Models (VLMs), vereisen uitgebreide na-training, wat resulteert in een hoge computationele overhead die schaalbaarheid en implementatie beperkt. Wij stellen CogVLA voor, een Cognition-Aligned Vision-Language-Action raamwerk dat gebruikmaakt van instructiegestuurde routering en verspilling om zowel efficiëntie als prestaties te verbeteren. CogVLA put inspiratie uit menselijke multimodale coördinatie en introduceert een 3-fasen progressieve architectuur. 1) Encoder-FiLM gebaseerde Aggregatie Routering (EFA-Routing) injecteert instructie-informatie in de visuele encoder om selectief dual-stream visuele tokens te aggregeren en comprimeren, waardoor een instructiebewuste latente representatie wordt gevormd. 2) Op basis van deze compacte visuele codering introduceert LLM-FiLM gebaseerde Snoei Routering (LFP-Routing) actie-intentie in het taalmodel door instructie-irrelevante visueel verankerde tokens te snoeien, waardoor token-level verspilling wordt bereikt. 3) Om ervoor te zorgen dat gecomprimeerde perceptie-inputs nog steeds nauwkeurige en coherente actiegeneratie kunnen ondersteunen, introduceren we V-L-A Gekoppelde Aandacht (CAtten), dat causale visie-taal aandacht combineert met bidirectionele actie parallelle decodering. Uitgebreide experimenten op de LIBERO benchmark en real-world robotica taken tonen aan dat CogVLA state-of-the-art prestaties bereikt met succespercentages van respectievelijk 97.4% en 70.0%, terwijl de trainingskosten met 2.5-voud worden verminderd en de inferentie latentie met 2.8-voud wordt verlaagd in vergelijking met OpenVLA. CogVLA is open-source en publiekelijk beschikbaar op https://github.com/JiuTian-VL/CogVLA.

English

Recent Vision-Language-Action (VLA) models built on pre-trained Vision-Language Models (VLMs) require extensive post-training, resulting in high computational overhead that limits scalability and deployment.We propose CogVLA, a Cognition-Aligned Vision-Language-Action framework that leverages instruction-driven routing and sparsification to improve both efficiency and performance. CogVLA draws inspiration from human multimodal coordination and introduces a 3-stage progressive architecture. 1) Encoder-FiLM based Aggregation Routing (EFA-Routing) injects instruction information into the vision encoder to selectively aggregate and compress dual-stream visual tokens, forming a instruction-aware latent representation. 2) Building upon this compact visual encoding, LLM-FiLM based Pruning Routing (LFP-Routing) introduces action intent into the language model by pruning instruction-irrelevant visually grounded tokens, thereby achieving token-level sparsity. 3) To ensure that compressed perception inputs can still support accurate and coherent action generation, we introduce V-L-A Coupled Attention (CAtten), which combines causal vision-language attention with bidirectional action parallel decoding. Extensive experiments on the LIBERO benchmark and real-world robotic tasks demonstrate that CogVLA achieves state-of-the-art performance with success rates of 97.4% and 70.0%, respectively, while reducing training costs by 2.5-fold and decreasing inference latency by 2.8-fold compared to OpenVLA. CogVLA is open-sourced and publicly available at https://github.com/JiuTian-VL/CogVLA.