HiF-VLA: Retrospettiva, Intuizione e Prospettiva attraverso la Rappresentazione del Movimento per Modelli Visione-Linguaggio-Azione
HiF-VLA: Hindsight, Insight and Foresight through Motion Representation for Vision-Language-Action Models
December 10, 2025
Autori: Minghui Lin, Pengxiang Ding, Shu Wang, Zifeng Zhuang, Yang Liu, Xinyang Tong, Wenxuan Song, Shangke Lyu, Siteng Huang, Donglin Wang
cs.AI
Abstract
I modelli Vision-Language-Action (VLA) hanno recentemente reso possibile la manipolazione robotica fondando segnali visivi e linguistici in azioni. Tuttavia, la maggior parte dei VLA assume la proprietà di Markov, basandosi solo sull'osservazione corrente e soffrendo quindi di miopia temporale che degrada la coerenza su orizzonti lunghi. In questo lavoro, consideriamo il movimento come una rappresentazione del contesto temporale e della dinamica del mondo più compatta e informativa, in grado di catturare i cambiamenti tra stati filtrando il rumore statico a livello di pixel. Sulla base di questa idea, proponiamo HiF-VLA (Hindsight, Insight, and Foresight for VLAs), un framework unificato che sfrutta il movimento per un ragionamento temporale bidirezionale. HiF-VLA codifica le dinamiche passate attraverso prior di hindsight, anticipa il movimento futuro tramite un ragionamento di foresight, e integra entrambi attraverso un esperto congiunto modulato dall'hindsight per abilitare un paradigma di "pensare-mentre-si-agisce" per la manipolazione a lungo termine. Di conseguenza, HiF-VLA supera solidi baseline sui benchmark LIBERO-Long e CALVIN ABC-D, comportando al contempo una latenza inferenziale aggiuntiva trascurabile. Inoltre, HiF-VLA raggiunge miglioramenti sostanziali in compiti di manipolazione a lungo termine nel mondo reale, dimostrando la sua ampia efficacia in contesti robotici pratici.
English
Vision-Language-Action (VLA) models have recently enabled robotic manipulation by grounding visual and linguistic cues into actions. However, most VLAs assume the Markov property, relying only on the current observation and thus suffering from temporal myopia that degrades long-horizon coherence. In this work, we view motion as a more compact and informative representation of temporal context and world dynamics, capturing inter-state changes while filtering static pixel-level noise. Building on this idea, we propose HiF-VLA (Hindsight, Insight, and Foresight for VLAs), a unified framework that leverages motion for bidirectional temporal reasoning. HiF-VLA encodes past dynamics through hindsight priors, anticipates future motion via foresight reasoning, and integrates both through a hindsight-modulated joint expert to enable a ''think-while-acting'' paradigm for long-horizon manipulation. As a result, HiF-VLA surpasses strong baselines on LIBERO-Long and CALVIN ABC-D benchmarks, while incurring negligible additional inference latency. Furthermore, HiF-VLA achieves substantial improvements in real-world long-horizon manipulation tasks, demonstrating its broad effectiveness in practical robotic settings.