HiF-VLA: Ретроспектива, инсайт и предвидение через представление движения для моделей "зрение-язык-действие"

HiF-VLA: Hindsight, Insight and Foresight through Motion Representation for Vision-Language-Action Models

December 10, 2025

Авторы: Minghui Lin, Pengxiang Ding, Shu Wang, Zifeng Zhuang, Yang Liu, Xinyang Tong, Wenxuan Song, Shangke Lyu, Siteng Huang, Donglin Wang

cs.AI

Аннотация

Модели «Видение-Язык-Действие» (VLA) недавно позволили реализовать роботизированное манипулирование, связывая визуальные и лингвистические сигналы с действиями. Однако большинство VLA-моделей предполагают марковское свойство, полагаясь лишь на текущее наблюдение, что приводит к темпоральной миопии, ухудшающей согласованность на длительных горизонтах. В данной работе мы рассматриваем движение как более компактное и информативное представление временного контекста и динамики мира, которое фиксирует межсостоятельные изменения, фильтруя статический шум на уровне пикселей. Основываясь на этой идее, мы предлагаем HiF-VLA — унифицированную структуру, использующую движение для двунаправленного временного анализа. HiF-VLA кодирует прошлую динамику через априорные данные ретроспективного анализа, предвосхищает будущее движение с помощью проспективного рассуждения и интегрирует оба подхода через совместный экспертный модуль, модулируемый ретроспективой, что реализует парадигму «думай-во-время-действия» для манипулирования на длительных горизонтах. В результате HiF-VLA превосходит сильные базовые линии на бенчмарках LIBERO-Long и CALVIN ABC-D, обеспечивая при этом незначительную дополнительную задержку вывода. Более того, HiF-VLA демонстрирует существенное улучшение в реальных задачах длительного манипулирования, подтверждая свою широкую эффективность в практических робототехнических сценариях.

English

Vision-Language-Action (VLA) models have recently enabled robotic manipulation by grounding visual and linguistic cues into actions. However, most VLAs assume the Markov property, relying only on the current observation and thus suffering from temporal myopia that degrades long-horizon coherence. In this work, we view motion as a more compact and informative representation of temporal context and world dynamics, capturing inter-state changes while filtering static pixel-level noise. Building on this idea, we propose HiF-VLA (Hindsight, Insight, and Foresight for VLAs), a unified framework that leverages motion for bidirectional temporal reasoning. HiF-VLA encodes past dynamics through hindsight priors, anticipates future motion via foresight reasoning, and integrates both through a hindsight-modulated joint expert to enable a ''think-while-acting'' paradigm for long-horizon manipulation. As a result, HiF-VLA surpasses strong baselines on LIBERO-Long and CALVIN ABC-D benchmarks, while incurring negligible additional inference latency. Furthermore, HiF-VLA achieves substantial improvements in real-world long-horizon manipulation tasks, demonstrating its broad effectiveness in practical robotic settings.