ACoT-VLA: Cadena de Pensamiento de Acción para Modelos de Visión-Lenguaje-Acción

ACoT-VLA: Action Chain-of-Thought for Vision-Language-Action Models

January 16, 2026

Autores: Linqing Zhong, Yi Liu, Yifei Wei, Ziyu Xiong, Maoqing Yao, Si Liu, Guanghui Ren

cs.AI

Resumen

Los modelos Visión-Lenguaje-Acción (VLA) han surgido como políticas robóticas generalistas esenciales para diversas tareas de manipulación, apoyándose convencionalmente en la traducción directa de entradas multimodales a acciones mediante incrustaciones de Modelos de Lenguaje Visual (VLM). Avances recientes han introducido razonamiento intermediario explícito, como la predicción de subtareas (lenguaje) o la síntesis de imágenes objetivo (visión), para guiar la generación de acciones. Sin embargo, estos razonamientos intermedios suelen ser indirectos y están inherentemente limitados en su capacidad para transmitir la información completa y granular necesaria para una ejecución precisa de la acción. En su lugar, postulamos que la forma más efectiva de razonamiento es aquella que delibera directamente en el espacio de acción. Introducimos Action Chain-of-Thought (ACoT), un paradigma en el que el proceso de razonamiento se formula como una secuencia estructurada de intenciones de acción gruesas que guían la política final. En este artículo, proponemos ACoT-VLA, una arquitectura novedosa que materializa el paradigma ACoT. Específicamente, introducimos dos componentes complementarios: un Razonador de Acción Explícito (EAR) y un Razonador de Acción Implícito (IAR). El primero propone trayectorias de referencia gruesas como pasos de razonamiento explícitos a nivel de acción, mientras que el segundo extrae antecedentes de acción latentes de las representaciones internas de la entrada multimodal, co-formando un ACoT que condiciona el cabezal de acción subsiguiente para permitir un aprendizaje de políticas fundamentado. Experimentos exhaustivos en entornos del mundo real y de simulación demuestran la superioridad de nuestro método propuesto, que alcanza un 98,5%, 84,1% y 47,4% en LIBERO, LIBERO-Plus y VLABench, respectivamente.

English

Vision-Language-Action (VLA) models have emerged as essential generalist robot policies for diverse manipulation tasks, conventionally relying on directly translating multimodal inputs into actions via Vision-Language Model (VLM) embeddings. Recent advancements have introduced explicit intermediary reasoning, such as sub-task prediction (language) or goal image synthesis (vision), to guide action generation. However, these intermediate reasoning are often indirect and inherently limited in their capacity to convey the full, granular information required for precise action execution. Instead, we posit that the most effective form of reasoning is one that deliberates directly in the action space. We introduce Action Chain-of-Thought (ACoT), a paradigm where the reasoning process itself is formulated as a structured sequence of coarse action intents that guide the final policy. In this paper, we propose ACoT-VLA, a novel architecture that materializes the ACoT paradigm. Specifically, we introduce two complementary components: an Explicit Action Reasoner (EAR) and Implicit Action Reasoner (IAR). The former proposes coarse reference trajectories as explicit action-level reasoning steps, while the latter extracts latent action priors from internal representations of multimodal input, co-forming an ACoT that conditions the downstream action head to enable grounded policy learning. Extensive experiments in real-world and simulation environments demonstrate the superiority of our proposed method, which achieves 98.5%, 84.1%, and 47.4% on LIBERO, LIBERO-Plus and VLABench, respectively.