ACoT-VLA: Цепочка рассуждений для действий в моделях «зрение-язык-действие»

ACoT-VLA: Action Chain-of-Thought for Vision-Language-Action Models

January 16, 2026

Авторы: Linqing Zhong, Yi Liu, Yifei Wei, Ziyu Xiong, Maoqing Yao, Si Liu, Guanghui Ren

cs.AI

Аннотация

Модели «Vision-Language-Action» (VLA) стали важными универсальными политиками для роботов, решающих разнообразные задачи манипулирования. Традиционно они основываются на прямом преобразовании мультимодальных входных данных в действия через эмбеддинги моделей «Vision-Language» (VLM). Недавние достижения внедрили явное промежуточное рассуждение, такое как предсказание подзадач (язык) или синтез целевых изображений (зрение), для управления генерацией действий. Однако эти промежуточные рассуждения часто являются косвенными и по своей природе ограничены в способности передавать полную, детализированную информацию, необходимую для точного выполнения действий. Вместо этого мы предполагаем, что наиболее эффективной формой рассуждения является та, которая оперирует непосредственно в пространстве действий. Мы представляем «Action Chain-of-Thought» (ACoT) — парадигму, в которой процесс рассуждения формулируется как структурированная последовательность грубых намерений действий, направляющих итоговую политику. В данной статье мы предлагаем ACoT-VLA, новую архитектуру, реализующую парадигму ACoT. В частности, мы вводим два взаимодополняющих компонента: явный планировщик действий (Explicit Action Reasoner, EAR) и неявный планировщик действий (Implicit Action Reasoner, IAR). Первый предлагает грубые опорные траектории в качестве явных шагов рассуждения на уровне действий, тогда как второй извлекает скрытые априорные представления о действиях из внутренних репрезентаций мультимодального ввода, совместно формируя ACoT, который обусловливает последующий модуль генерации действий для обеспечения обоснованного обучения политики. Многочисленные эксперименты в реальных и симуляционных средах демонстрируют превосходство нашего метода, который достигает показателей 98,5%, 84,1% и 47,4% на наборах данных LIBERO, LIBERO-Plus и VLABench соответственно.

English

Vision-Language-Action (VLA) models have emerged as essential generalist robot policies for diverse manipulation tasks, conventionally relying on directly translating multimodal inputs into actions via Vision-Language Model (VLM) embeddings. Recent advancements have introduced explicit intermediary reasoning, such as sub-task prediction (language) or goal image synthesis (vision), to guide action generation. However, these intermediate reasoning are often indirect and inherently limited in their capacity to convey the full, granular information required for precise action execution. Instead, we posit that the most effective form of reasoning is one that deliberates directly in the action space. We introduce Action Chain-of-Thought (ACoT), a paradigm where the reasoning process itself is formulated as a structured sequence of coarse action intents that guide the final policy. In this paper, we propose ACoT-VLA, a novel architecture that materializes the ACoT paradigm. Specifically, we introduce two complementary components: an Explicit Action Reasoner (EAR) and Implicit Action Reasoner (IAR). The former proposes coarse reference trajectories as explicit action-level reasoning steps, while the latter extracts latent action priors from internal representations of multimodal input, co-forming an ACoT that conditions the downstream action head to enable grounded policy learning. Extensive experiments in real-world and simulation environments demonstrate the superiority of our proposed method, which achieves 98.5%, 84.1%, and 47.4% on LIBERO, LIBERO-Plus and VLABench, respectively.