F1: Um Modelo Visão-Linguagem-Ação que Conecta Compreensão e Geração a Ações

Resumo

A execução de tarefas condicionadas por linguagem em ambientes visuais dinâmicos permanece um desafio central na IA incorporada. Os modelos existentes de Visão-Linguagem-Ação (VLA) adotam predominantemente mapeamentos reativos de estado para ação, frequentemente resultando em comportamentos de curto alcance e baixa robustez em cenas dinâmicas. Neste artigo, introduzimos o F1, um framework VLA pré-treinado que integra a geração de previsão visual no pipeline de tomada de decisão. O F1 adota uma arquitetura Mixture-of-Transformer com módulos dedicados para percepção, geração de previsão e controle, conectando assim compreensão, geração e ações. Em seu núcleo, o F1 emprega um mecanismo de previsão de próxima escala para sintetizar previsões visuais condicionadas por objetivos como alvos explícitos de planejamento. Ao prever estados visuais futuros plausíveis, o F1 reformula a geração de ações como um problema de dinâmica inversa guiada por previsão, permitindo ações que implicitamente alcançam objetivos visuais. Para dotar o F1 de capacidades robustas e generalizáveis, propomos uma receita de treinamento em três estágios em um extenso conjunto de dados composto por mais de 330 mil trajetórias em 136 tarefas diversas. Esse esquema de treinamento aprimora o raciocínio modular e equipa o modelo com previsão visual transferível, o que é crucial para ambientes complexos e dinâmicos. Avaliações extensas em tarefas do mundo real e benchmarks de simulação demonstram que o F1 supera consistentemente as abordagens existentes, alcanizando ganhos substanciais tanto na taxa de sucesso das tarefas quanto na capacidade de generalização.

English

Executing language-conditioned tasks in dynamic visual environments remains a central challenge in embodied AI. Existing Vision-Language-Action (VLA) models predominantly adopt reactive state-to-action mappings, often leading to short-sighted behaviors and poor robustness in dynamic scenes. In this paper, we introduce F1, a pretrained VLA framework which integrates the visual foresight generation into decision-making pipeline. F1 adopts a Mixture-of-Transformer architecture with dedicated modules for perception, foresight generation, and control, thereby bridging understanding, generation, and actions. At its core, F1 employs a next-scale prediction mechanism to synthesize goal-conditioned visual foresight as explicit planning targets. By forecasting plausible future visual states, F1 reformulates action generation as a foresight-guided inverse dynamics problem, enabling actions that implicitly achieve visual goals. To endow F1 with robust and generalizable capabilities, we propose a three-stage training recipe on an extensive dataset comprising over 330k trajectories across 136 diverse tasks. This training scheme enhances modular reasoning and equips the model with transferable visual foresight, which is critical for complex and dynamic environments. Extensive evaluations on real-world tasks and simulation benchmarks demonstrate F1 consistently outperforms existing approaches, achieving substantial gains in both task success rate and generalization ability.

F1: Um Modelo Visão-Linguagem-Ação que Conecta Compreensão e Geração a Ações

F1: A Vision-Language-Action Model Bridging Understanding and Generation to Actions

Resumo

Support