F1: Un modelo visión-lenguaje-acción que conecta la comprensión y la generación con acciones

F1: A Vision-Language-Action Model Bridging Understanding and Generation to Actions

September 8, 2025

Autores: Qi Lv, Weijie Kong, Hao Li, Jia Zeng, Zherui Qiu, Delin Qu, Haoming Song, Qizhi Chen, Xiang Deng, Jiangmiao Pang

cs.AI

Resumen

La ejecución de tareas condicionadas por lenguaje en entornos visuales dinámicos sigue siendo un desafío central en la inteligencia artificial encarnada. Los modelos existentes de Visión-Lenguaje-Acción (VLA) adoptan predominantemente mapeos reactivos de estado a acción, lo que a menudo conduce a comportamientos miopes y una baja robustez en escenas dinámicas. En este artículo, presentamos F1, un marco VLA preentrenado que integra la generación de previsión visual en la pipeline de toma de decisiones. F1 adopta una arquitectura Mixture-of-Transformer con módulos dedicados para percepción, generación de previsión y control, conectando así la comprensión, la generación y las acciones. En su núcleo, F1 emplea un mecanismo de predicción a escala siguiente para sintetizar previsión visual condicionada por objetivos como metas de planificación explícitas. Al pronosticar estados visuales futuros plausibles, F1 reformula la generación de acciones como un problema de dinámica inversa guiada por previsión, permitiendo acciones que logran implícitamente objetivos visuales. Para dotar a F1 de capacidades robustas y generalizables, proponemos una receta de entrenamiento en tres etapas en un extenso conjunto de datos que comprende más de 330k trayectorias en 136 tareas diversas. Este esquema de entrenamiento mejora el razonamiento modular y equipa al modelo con previsión visual transferible, lo cual es crítico para entornos complejos y dinámicos. Evaluaciones exhaustivas en tareas del mundo real y benchmarks de simulación demuestran que F1 supera consistentemente los enfoques existentes, logrando mejoras sustanciales tanto en la tasa de éxito de las tareas como en la capacidad de generalización.

English

Executing language-conditioned tasks in dynamic visual environments remains a central challenge in embodied AI. Existing Vision-Language-Action (VLA) models predominantly adopt reactive state-to-action mappings, often leading to short-sighted behaviors and poor robustness in dynamic scenes. In this paper, we introduce F1, a pretrained VLA framework which integrates the visual foresight generation into decision-making pipeline. F1 adopts a Mixture-of-Transformer architecture with dedicated modules for perception, foresight generation, and control, thereby bridging understanding, generation, and actions. At its core, F1 employs a next-scale prediction mechanism to synthesize goal-conditioned visual foresight as explicit planning targets. By forecasting plausible future visual states, F1 reformulates action generation as a foresight-guided inverse dynamics problem, enabling actions that implicitly achieve visual goals. To endow F1 with robust and generalizable capabilities, we propose a three-stage training recipe on an extensive dataset comprising over 330k trajectories across 136 diverse tasks. This training scheme enhances modular reasoning and equips the model with transferable visual foresight, which is critical for complex and dynamic environments. Extensive evaluations on real-world tasks and simulation benchmarks demonstrate F1 consistently outperforms existing approaches, achieving substantial gains in both task success rate and generalization ability.