F1: Модель "Видение-Язык-Действие", объединяющая понимание и генерацию для выполнения действий

F1: A Vision-Language-Action Model Bridging Understanding and Generation to Actions

September 8, 2025

Авторы: Qi Lv, Weijie Kong, Hao Li, Jia Zeng, Zherui Qiu, Delin Qu, Haoming Song, Qizhi Chen, Xiang Deng, Jiangmiao Pang

cs.AI

Аннотация

Выполнение задач, обусловленных языком, в динамических визуальных средах остается ключевой проблемой в воплощенном искусственном интеллекте. Существующие модели Vision-Language-Action (VLA) преимущественно используют реактивные отображения состояний в действия, что часто приводит к близорукому поведению и низкой устойчивости в динамических сценах. В данной статье мы представляем F1 — предобученную VLA-структуру, которая интегрирует генерацию визуального предвидения в процесс принятия решений. F1 использует архитектуру Mixture-of-Transformer с выделенными модулями для восприятия, генерации предвидения и управления, тем самым объединяя понимание, генерацию и действия. В основе F1 лежит механизм предсказания следующего масштаба, который синтезирует визуальное предвидение, обусловленное целью, в качестве явных целей планирования. Прогнозируя правдоподобные будущие визуальные состояния, F1 переформулирует генерацию действий как задачу обратной динамики, направляемую предвидением, что позволяет выполнять действия, неявно достигающие визуальных целей. Для наделения F1 устойчивыми и обобщаемыми способностями мы предлагаем трехэтапный процесс обучения на обширном наборе данных, включающем более 330 тысяч траекторий по 136 разнообразным задачам. Эта схема обучения улучшает модульное рассуждение и оснащает модель переносимым визуальным предвидением, что критически важно для сложных и динамических сред. Масштабные оценки на реальных задачах и симуляционных тестах демонстрируют, что F1 стабильно превосходит существующие подходы, достигая значительных улучшений как в успешности выполнения задач, так и в способности к обобщению.

English

Executing language-conditioned tasks in dynamic visual environments remains a central challenge in embodied AI. Existing Vision-Language-Action (VLA) models predominantly adopt reactive state-to-action mappings, often leading to short-sighted behaviors and poor robustness in dynamic scenes. In this paper, we introduce F1, a pretrained VLA framework which integrates the visual foresight generation into decision-making pipeline. F1 adopts a Mixture-of-Transformer architecture with dedicated modules for perception, foresight generation, and control, thereby bridging understanding, generation, and actions. At its core, F1 employs a next-scale prediction mechanism to synthesize goal-conditioned visual foresight as explicit planning targets. By forecasting plausible future visual states, F1 reformulates action generation as a foresight-guided inverse dynamics problem, enabling actions that implicitly achieve visual goals. To endow F1 with robust and generalizable capabilities, we propose a three-stage training recipe on an extensive dataset comprising over 330k trajectories across 136 diverse tasks. This training scheme enhances modular reasoning and equips the model with transferable visual foresight, which is critical for complex and dynamic environments. Extensive evaluations on real-world tasks and simulation benchmarks demonstrate F1 consistently outperforms existing approaches, achieving substantial gains in both task success rate and generalization ability.