HIF-RVA: Retrospectiva, Perspicacia y Prospectiva mediante Representación del Movimiento para Modelos Visión-Lenguaje-Acción
HiF-VLA: Hindsight, Insight and Foresight through Motion Representation for Vision-Language-Action Models
December 10, 2025
Autores: Minghui Lin, Pengxiang Ding, Shu Wang, Zifeng Zhuang, Yang Liu, Xinyang Tong, Wenxuan Song, Shangke Lyu, Siteng Huang, Donglin Wang
cs.AI
Resumen
Los modelos Visión-Lenguaje-Acción (VLA) han permitido recientemente la manipulación robótica mediante la fundamentación de señales visuales y lingüísticas en acciones. Sin embargo, la mayoría de los VLA asumen la propiedad de Markov, dependiendo únicamente de la observación actual y, por lo tanto, adolecen de miopía temporal que degrada la coherencia a largo plazo. En este trabajo, consideramos el movimiento como una representación más compacta e informativa del contexto temporal y la dinámica del mundo, que captura los cambios entre estados mientras filtra el ruido estático a nivel de píxeles. Basándonos en esta idea, proponemos HiF-VLA (Retrospección, Perspicacia y Prospectiva para VLA), un marco unificado que aprovecha el movimiento para el razonamiento temporal bidireccional. HiF-VLA codifica la dinámica pasada a través de distribuciones previas de retrospección, anticipa el movimiento futuro mediante razonamiento prospectivo, e integra ambos a través de un experto conjunto modulado por retrospección para permitir un paradigma de "pensar-mientras-se-actúa" para la manipulación de larga duración. Como resultado, HiF-VLA supera a sólidas líneas de base en los benchmarks LIBERO-Long y CALVIN ABC-D, mientras incurre en una latencia de inferencia adicional insignificante. Además, HiF-VLA logra mejoras sustanciales en tareas de manipulación de larga duración en el mundo real, demostrando su amplia efectividad en entornos robóticos prácticos.
English
Vision-Language-Action (VLA) models have recently enabled robotic manipulation by grounding visual and linguistic cues into actions. However, most VLAs assume the Markov property, relying only on the current observation and thus suffering from temporal myopia that degrades long-horizon coherence. In this work, we view motion as a more compact and informative representation of temporal context and world dynamics, capturing inter-state changes while filtering static pixel-level noise. Building on this idea, we propose HiF-VLA (Hindsight, Insight, and Foresight for VLAs), a unified framework that leverages motion for bidirectional temporal reasoning. HiF-VLA encodes past dynamics through hindsight priors, anticipates future motion via foresight reasoning, and integrates both through a hindsight-modulated joint expert to enable a ''think-while-acting'' paradigm for long-horizon manipulation. As a result, HiF-VLA surpasses strong baselines on LIBERO-Long and CALVIN ABC-D benchmarks, while incurring negligible additional inference latency. Furthermore, HiF-VLA achieves substantial improvements in real-world long-horizon manipulation tasks, demonstrating its broad effectiveness in practical robotic settings.