F1: Ein Vision-Sprache-Handlung-Modell, das Verständnis und Generierung mit Handlungen verbindet

F1: A Vision-Language-Action Model Bridging Understanding and Generation to Actions

September 8, 2025

papers.authors: Qi Lv, Weijie Kong, Hao Li, Jia Zeng, Zherui Qiu, Delin Qu, Haoming Song, Qizhi Chen, Xiang Deng, Jiangmiao Pang

cs.AI

papers.abstract

Die Ausführung von sprachgesteuerten Aufgaben in dynamischen visuellen Umgebungen bleibt eine zentrale Herausforderung im Bereich der verkörperten KI. Bestehende Vision-Language-Action (VLA)-Modelle verwenden überwiegend reaktive Zustand-zu-Aktion-Zuordnungen, was oft zu kurzsichtigem Verhalten und geringer Robustheit in dynamischen Szenen führt. In diesem Artikel stellen wir F1 vor, ein vortrainiertes VLA-Framework, das die Erzeugung von visueller Voraussicht in den Entscheidungsprozess integriert. F1 nutzt eine Mixture-of-Transformer-Architektur mit dedizierten Modulen für Wahrnehmung, Voraussichtserzeugung und Steuerung und verbindet so Verständnis, Generierung und Aktionen. Im Kern verwendet F1 einen Next-Scale-Vorhersagemechanismus, um zielgerichtete visuelle Voraussicht als explizite Planungsziele zu synthetisieren. Durch die Vorhersage plausibler zukünftiger visueller Zustände formuliert F1 die Aktionserzeugung als ein voraussichtgesteuertes inverses Dynamikproblem um, wodurch Aktionen ermöglicht werden, die implizit visuelle Ziele erreichen. Um F1 mit robusten und generalisierbaren Fähigkeiten auszustatten, schlagen wir ein dreistufiges Trainingsschema auf einem umfangreichen Datensatz vor, der über 330.000 Trajektorien aus 136 verschiedenen Aufgaben umfasst. Dieses Trainingsschema fördert modulares Denken und stattet das Modell mit übertragbarer visueller Voraussicht aus, was für komplexe und dynamische Umgebungen entscheidend ist. Umfangreiche Bewertungen anhand realer Aufgaben und Simulationsbenchmarks zeigen, dass F1 bestehende Ansätze konsequent übertrifft und erhebliche Verbesserungen sowohl bei der Aufgaben-Erfolgsrate als auch bei der Generalisierungsfähigkeit erzielt.

English

Executing language-conditioned tasks in dynamic visual environments remains a central challenge in embodied AI. Existing Vision-Language-Action (VLA) models predominantly adopt reactive state-to-action mappings, often leading to short-sighted behaviors and poor robustness in dynamic scenes. In this paper, we introduce F1, a pretrained VLA framework which integrates the visual foresight generation into decision-making pipeline. F1 adopts a Mixture-of-Transformer architecture with dedicated modules for perception, foresight generation, and control, thereby bridging understanding, generation, and actions. At its core, F1 employs a next-scale prediction mechanism to synthesize goal-conditioned visual foresight as explicit planning targets. By forecasting plausible future visual states, F1 reformulates action generation as a foresight-guided inverse dynamics problem, enabling actions that implicitly achieve visual goals. To endow F1 with robust and generalizable capabilities, we propose a three-stage training recipe on an extensive dataset comprising over 330k trajectories across 136 diverse tasks. This training scheme enhances modular reasoning and equips the model with transferable visual foresight, which is critical for complex and dynamic environments. Extensive evaluations on real-world tasks and simulation benchmarks demonstrate F1 consistently outperforms existing approaches, achieving substantial gains in both task success rate and generalization ability.