HIF-VLA: Rückblick, Einsicht und Vorausschau durch Bewegungsrepräsentation für Vision-Sprache-Handlungs-Modelle
HiF-VLA: Hindsight, Insight and Foresight through Motion Representation for Vision-Language-Action Models
December 10, 2025
papers.authors: Minghui Lin, Pengxiang Ding, Shu Wang, Zifeng Zhuang, Yang Liu, Xinyang Tong, Wenxuan Song, Shangke Lyu, Siteng Huang, Donglin Wang
cs.AI
papers.abstract
Vision-Language-Action (VLA)-Modelle haben kürzlich die robotische Manipulation ermöglicht, indem sie visuelle und linguistische Hinweise in Aktionen verankern. Die meisten VLA-Modelle gehen jedoch von der Markov-Eigenschaft aus, stützen sich also nur auf die aktuelle Beobachtung und leiden folglich unter temporaler Kurzsichtigkeit, was die Kohärenz über lange Zeithorizonte beeinträchtigt. In dieser Arbeit betrachten wir Bewegung als eine kompaktere und informativer Repräsentation des zeitlichen Kontexts und der Weltdynamik, die Zustandsänderungen erfasst und gleichzeitig statisches Rauschen auf Pixelebene filtert. Aufbauend auf dieser Idee schlagen wir HiF-VLA (Hindsight, Insight, and Foresight for VLAs) vor, einen einheitlichen Rahmen, der Bewegung für bidirektionale temporale Reasoning-Prozesse nutzt. HiF-VLA kodiert vergangene Dynamiken durch Hindsight-Priors, antizipiert zukünftige Bewegungen mittels Foresight-Reasoning und integriert beide durch einen hindsight-modulierten Joint Expert, um ein „Denken-während-des-Handelns“-Paradigma für langfristige Manipulationsaufgaben zu ermöglichen. Infolgedessen übertrifft HiF-VLA starke Baseline-Modelle auf den LIBERO-Long- und CALVIN-ABC-D-Benchmarks bei vernachlässigbarer zusätzlicher Inferenzlatenz. Darüber hinaus erzielt HiF-VLA erhebliche Verbesserungen bei realen langfristigen Manipulationsaufgaben, was seine breite Wirksamkeit in praktischen robotischen Anwendungen demonstriert.
English
Vision-Language-Action (VLA) models have recently enabled robotic manipulation by grounding visual and linguistic cues into actions. However, most VLAs assume the Markov property, relying only on the current observation and thus suffering from temporal myopia that degrades long-horizon coherence. In this work, we view motion as a more compact and informative representation of temporal context and world dynamics, capturing inter-state changes while filtering static pixel-level noise. Building on this idea, we propose HiF-VLA (Hindsight, Insight, and Foresight for VLAs), a unified framework that leverages motion for bidirectional temporal reasoning. HiF-VLA encodes past dynamics through hindsight priors, anticipates future motion via foresight reasoning, and integrates both through a hindsight-modulated joint expert to enable a ''think-while-acting'' paradigm for long-horizon manipulation. As a result, HiF-VLA surpasses strong baselines on LIBERO-Long and CALVIN ABC-D benchmarks, while incurring negligible additional inference latency. Furthermore, HiF-VLA achieves substantial improvements in real-world long-horizon manipulation tasks, demonstrating its broad effectiveness in practical robotic settings.