HiF-VLA: Terugblik, Inzicht en Vooruitzicht door Bewegingsrepresentatie voor Visie-Taal-Actie Modellen
HiF-VLA: Hindsight, Insight and Foresight through Motion Representation for Vision-Language-Action Models
December 10, 2025
Auteurs: Minghui Lin, Pengxiang Ding, Shu Wang, Zifeng Zhuang, Yang Liu, Xinyang Tong, Wenxuan Song, Shangke Lyu, Siteng Huang, Donglin Wang
cs.AI
Samenvatting
Vision-Language-Action (VLA)-modellen hebben recentelijk robotmanipulatie mogelijk gemaakt door visuele en linguïstische signalen te verankeren in acties. De meeste VLA-modellen gaan echter uit van de Markov-eigenschap, waarbij ze alleen op de huidige observatie vertrouwen en zo lijden onder temporele bijziendheid die de coherentie op lange termijn aantast. In dit werk beschouwen we beweging als een compactere en informatievere representatie van temporele context en werelddynamica, waarbij inter-statushandelingen worden vastgelegd en statische pixelruis wordt gefilterd. Voortbouwend op dit idee stellen we HiF-VLA (Hindsight, Insight, and Foresight for VLAs) voor, een uniform raamwerk dat beweging benut voor bidirectioneel temporeel redeneren. HiF-VLA codeert dynamiek uit het verleden via hindsight-priors, anticipeert op toekomstige beweging via foresight-redenering en integreert beide via een hindsight-gemoduleerde joint expert om een "denken-tijdens-handelen"-paradigma voor manipulatie op lange termijn mogelijk te maken. Hierdoor overtreft HiF-VLA sterke baseline-modellen op de LIBERO-Long- en CALVIN ABC-D-benchmarks, terwijl er verwaarloosbare extra inferentielatentie optreedt. Bovendien behaalt HiF-VLA aanzienlijke verbeteringen in real-world manipulatietaken op lange termijn, wat de brede effectiviteit in praktische robotomgevingen aantoont.
English
Vision-Language-Action (VLA) models have recently enabled robotic manipulation by grounding visual and linguistic cues into actions. However, most VLAs assume the Markov property, relying only on the current observation and thus suffering from temporal myopia that degrades long-horizon coherence. In this work, we view motion as a more compact and informative representation of temporal context and world dynamics, capturing inter-state changes while filtering static pixel-level noise. Building on this idea, we propose HiF-VLA (Hindsight, Insight, and Foresight for VLAs), a unified framework that leverages motion for bidirectional temporal reasoning. HiF-VLA encodes past dynamics through hindsight priors, anticipates future motion via foresight reasoning, and integrates both through a hindsight-modulated joint expert to enable a ''think-while-acting'' paradigm for long-horizon manipulation. As a result, HiF-VLA surpasses strong baselines on LIBERO-Long and CALVIN ABC-D benchmarks, while incurring negligible additional inference latency. Furthermore, HiF-VLA achieves substantial improvements in real-world long-horizon manipulation tasks, demonstrating its broad effectiveness in practical robotic settings.