HiF-VLA: Retrospetiva, Perspicácia e Previsão através da Representação do Movimento para Modelos Visão-Linguagem-Ação
HiF-VLA: Hindsight, Insight and Foresight through Motion Representation for Vision-Language-Action Models
December 10, 2025
Autores: Minghui Lin, Pengxiang Ding, Shu Wang, Zifeng Zhuang, Yang Liu, Xinyang Tong, Wenxuan Song, Shangke Lyu, Siteng Huang, Donglin Wang
cs.AI
Resumo
Os modelos Visão-Linguagem-Ação (VLA) têm recentemente possibilitado a manipulação robótica ao fundamentar pistas visuais e linguísticas em ações. No entanto, a maioria dos VLAs assume a propriedade de Markov, dependendo apenas da observação atual e, portanto, sofrendo de miopia temporal que degrada a coerência de longo horizonte. Neste trabalho, encaramos o movimento como uma representação mais compacta e informativa do contexto temporal e da dinâmica do mundo, capturando mudanças entre estados enquanto filtra ruídos estáticos a nível de pixel. Com base nesta ideia, propomos o HiF-VLA (Retrospetiva, Perspetiva e Previsão para VLAs), uma estrutura unificada que aproveita o movimento para um raciocínio temporal bidirecional. O HiF-VLA codifica a dinâmica passada através de prioridades de retrospetiva, antecipa o movimento futuro via raciocínio de previsão, e integra ambos através de um perito conjunto modulado por retrospetiva para permitir um paradigma de "pensar-enquanto-age" para manipulação de longo horizonte. Como resultado, o HiF-VLA supera linhas de base fortes nos benchmarks LIBERO-Long e CALVIN ABC-D, enquanto incorre em latência de inferência adicional negligenciável. Além disso, o HiF-VLA alcança melhorias substanciais em tarefas de manipração de longo horizonte do mundo real, demonstrando a sua ampla eficácia em contextos robóticos práticos.
English
Vision-Language-Action (VLA) models have recently enabled robotic manipulation by grounding visual and linguistic cues into actions. However, most VLAs assume the Markov property, relying only on the current observation and thus suffering from temporal myopia that degrades long-horizon coherence. In this work, we view motion as a more compact and informative representation of temporal context and world dynamics, capturing inter-state changes while filtering static pixel-level noise. Building on this idea, we propose HiF-VLA (Hindsight, Insight, and Foresight for VLAs), a unified framework that leverages motion for bidirectional temporal reasoning. HiF-VLA encodes past dynamics through hindsight priors, anticipates future motion via foresight reasoning, and integrates both through a hindsight-modulated joint expert to enable a ''think-while-acting'' paradigm for long-horizon manipulation. As a result, HiF-VLA surpasses strong baselines on LIBERO-Long and CALVIN ABC-D benchmarks, while incurring negligible additional inference latency. Furthermore, HiF-VLA achieves substantial improvements in real-world long-horizon manipulation tasks, demonstrating its broad effectiveness in practical robotic settings.