CogVLA: Modello Visione-Linguaggio-Azione Allineato alla Cognizione tramite Instradamento Guidato da Istruzioni e Sparsificazione

CogVLA: Cognition-Aligned Vision-Language-Action Model via Instruction-Driven Routing & Sparsification

August 28, 2025

Autori: Wei Li, Renshan Zhang, Rui Shao, Jie He, Liqiang Nie

cs.AI

Abstract

I recenti modelli Vision-Language-Action (VLA) basati su modelli Vision-Language (VLM) pre-addestrati richiedono un ampio post-training, risultando in un elevato overhead computazionale che limita la scalabilità e il deployment. Proponiamo CogVLA, un framework Cognition-Aligned Vision-Language-Action che sfrutta il routing guidato da istruzioni e la sparsificazione per migliorare sia l'efficienza che le prestazioni. CogVLA trae ispirazione dalla coordinazione multimodale umana e introduce un'architettura progressiva a 3 stadi. 1) L'Encoder-FiLM based Aggregation Routing (EFA-Routing) inietta le informazioni delle istruzioni nell'encoder visivo per aggregare e comprimere selettivamente i token visivi dual-stream, formando una rappresentazione latente consapevole delle istruzioni. 2) Basandosi su questa codifica visiva compatta, l'LLM-FiLM based Pruning Routing (LFP-Routing) introduce l'intento d'azione nel modello linguistico potando i token visivi non rilevanti per le istruzioni, ottenendo così una sparsità a livello di token. 3) Per garantire che gli input percettivi compressi possano comunque supportare una generazione d'azione accurata e coerente, introduciamo il V-L-A Coupled Attention (CAtten), che combina l'attenzione causale vision-language con il decoding parallelo bidirezionale delle azioni. Esperimenti estensivi sul benchmark LIBERO e su task robotici del mondo reale dimostrano che CogVLA raggiunge prestazioni all'avanguardia con tassi di successo del 97.4% e 70.0%, rispettivamente, riducendo i costi di training di 2.5 volte e diminuendo la latenza di inferenza di 2.8 volte rispetto a OpenVLA. CogVLA è open-source e disponibile pubblicamente all'indirizzo https://github.com/JiuTian-VL/CogVLA.

English

Recent Vision-Language-Action (VLA) models built on pre-trained Vision-Language Models (VLMs) require extensive post-training, resulting in high computational overhead that limits scalability and deployment.We propose CogVLA, a Cognition-Aligned Vision-Language-Action framework that leverages instruction-driven routing and sparsification to improve both efficiency and performance. CogVLA draws inspiration from human multimodal coordination and introduces a 3-stage progressive architecture. 1) Encoder-FiLM based Aggregation Routing (EFA-Routing) injects instruction information into the vision encoder to selectively aggregate and compress dual-stream visual tokens, forming a instruction-aware latent representation. 2) Building upon this compact visual encoding, LLM-FiLM based Pruning Routing (LFP-Routing) introduces action intent into the language model by pruning instruction-irrelevant visually grounded tokens, thereby achieving token-level sparsity. 3) To ensure that compressed perception inputs can still support accurate and coherent action generation, we introduce V-L-A Coupled Attention (CAtten), which combines causal vision-language attention with bidirectional action parallel decoding. Extensive experiments on the LIBERO benchmark and real-world robotic tasks demonstrate that CogVLA achieves state-of-the-art performance with success rates of 97.4% and 70.0%, respectively, while reducing training costs by 2.5-fold and decreasing inference latency by 2.8-fold compared to OpenVLA. CogVLA is open-sourced and publicly available at https://github.com/JiuTian-VL/CogVLA.