F1 : Un modèle vision-langage-action unissant compréhension, génération et actions

papers.abstract

L'exécution de tâches conditionnées par le langage dans des environnements visuels dynamiques reste un défi central dans l'IA incarnée. Les modèles Vision-Langage-Action (VLA) existants adoptent principalement des mappages réactifs d'état à action, conduisant souvent à des comportements à courte vue et à une faible robustesse dans des scènes dynamiques. Dans cet article, nous présentons F1, un cadre VLA pré-entraîné qui intègre la génération de prévisions visuelles dans le pipeline de prise de décision. F1 adopte une architecture Mixture-of-Transformer avec des modules dédiés à la perception, à la génération de prévisions et au contrôle, reliant ainsi la compréhension, la génération et les actions. Au cœur de F1 se trouve un mécanisme de prédiction à l'échelle suivante qui synthétise des prévisions visuelles conditionnées par un objectif comme cibles de planification explicites. En prévoyant des états visuels futurs plausibles, F1 reformule la génération d'actions comme un problème de dynamique inverse guidé par les prévisions, permettant des actions qui atteignent implicitement des objectifs visuels. Pour doter F1 de capacités robustes et généralisables, nous proposons une recette d'entraînement en trois étapes sur un vaste ensemble de données comprenant plus de 330 000 trajectoires à travers 136 tâches diverses. Ce schéma d'entraînement améliore le raisonnement modulaire et équipe le modèle de prévisions visuelles transférables, essentielles pour des environnements complexes et dynamiques. Des évaluations approfondies sur des tâches du monde réel et des benchmarks de simulation démontrent que F1 surpasse systématiquement les approches existantes, obtenant des gains substantiels à la fois en taux de réussite des tâches et en capacité de généralisation.

English

Executing language-conditioned tasks in dynamic visual environments remains a central challenge in embodied AI. Existing Vision-Language-Action (VLA) models predominantly adopt reactive state-to-action mappings, often leading to short-sighted behaviors and poor robustness in dynamic scenes. In this paper, we introduce F1, a pretrained VLA framework which integrates the visual foresight generation into decision-making pipeline. F1 adopts a Mixture-of-Transformer architecture with dedicated modules for perception, foresight generation, and control, thereby bridging understanding, generation, and actions. At its core, F1 employs a next-scale prediction mechanism to synthesize goal-conditioned visual foresight as explicit planning targets. By forecasting plausible future visual states, F1 reformulates action generation as a foresight-guided inverse dynamics problem, enabling actions that implicitly achieve visual goals. To endow F1 with robust and generalizable capabilities, we propose a three-stage training recipe on an extensive dataset comprising over 330k trajectories across 136 diverse tasks. This training scheme enhances modular reasoning and equips the model with transferable visual foresight, which is critical for complex and dynamic environments. Extensive evaluations on real-world tasks and simulation benchmarks demonstrate F1 consistently outperforms existing approaches, achieving substantial gains in both task success rate and generalization ability.

F1 : Un modèle vision-langage-action unissant compréhension, génération et actions

F1: A Vision-Language-Action Model Bridging Understanding and Generation to Actions

papers.abstract

Support