PhysisForcing: Физически подкрепленный симулятор мира для роботизированной манипуляции

Аннотация

Модели генерации видео стали перспективной парадигмой для воплощённого моделирования мира. Однако как генераторы видео общего назначения, так и модели, дообученные на специфических для роботов данных, всё ещё могут порождать физически неправдоподобные манипуляции, включая прерывистые траектории движения и несогласованные взаимодействия между роботом и объектами, что ограничивает их надёжность в качестве симуляторов мира. В ходе обширных экспериментов мы обнаружили, что такая физическая нестабильность в основном обусловлена двумя факторами: деформацией движущихся объектов и неправдоподобными пространственно-временными корреляциями между взаимодействующими сущностями, особенно в момент контакта. Основываясь на этом наблюдении, мы предлагаем PhysisForcing — масштабируемую обучающую структуру, которая усиливает физическую согласованность путём фокусировки контроля на физически информативных областях через совместную оптимизацию признаков на уровне пикселей и семантическом уровне. Структура состоит из функции потерь для выравнивания траекторий на уровне пикселей, которая контролирует признаки DiT с помощью траекторий опорных точек, и функции потерь для выравнивания реляционных связей на семантическом уровне, которая согласует признаки DiT с межрегиональными отношениями, извлечёнными из замороженного энкодера понимания видео. Обширные эксперименты на R-Bench, PAI-Bench и EZS-Bench показывают, что PhysisForcing последовательно улучшает воплощённую генерацию видео по сравнению с сильными базовыми линиями, повышая показатели базовых моделей Wan2.2-I2V-A14B и Cosmos3-Nano на R-Bench на 22,3% и 9,2% (на 7,1% и 3,7% по сравнению с обычной точной настройкой), причём вариант на базе Cosmos3-Nano достигает наилучшего общего результата. Помимо генерации, в качестве модели мира в рамках протокола планирования действий WorldArena он повышает уровень успешности замкнутого цикла с 16,0% до 24,0% и дополнительно улучшает успешность последующих политик, что указывает на то, что физически согласованные видео-модели обеспечивают более сильные представления для роботизированных манипуляций.

English

Video generation models have emerged as a promising paradigm for embodied world simulation. However, both general-domain video generators and robot-specific data fine-tuned models can still produce physically implausible manipulations, including discontinuous motion trajectories and inconsistent robot-object interactions, which limits their reliability as world simulators. Through extensive experiments, we find that such physical instability mainly arises from two factors: deformation of moving objects and implausible spatio-temporal correlations among interacting entities, particularly during contact. Building on this observation, we propose PhysisForcing, a scalable training framework that strengthens physical consistency by focusing supervision on physics-informative regions through joint optimization of pixel-level and semantic-level features. The framework consists of a pixel-level trajectory alignment loss, which supervises DiT features using reference point trajectories, and a semantic-level relational alignment loss, which aligns DiT features with inter-region relations extracted from a frozen video understanding encoder. Extensive experiments on R-Bench, PAI-Bench, and EZS-Bench show that PhysisForcing consistently improves embodied video generation over strong baselines, improving the Wan2.2-I2V-A14B and Cosmos3-Nano base models on R-Bench by 22.3\% and 9.2\% (7.1\% and 3.7\% over vanilla finetuning), with the Cosmos3-Nano variant attaining the best overall score. Beyond generation, as a world model under the WorldArena action-planner protocol it raises the closed-loop success rate from 16.0\% to 24.0\% and further improves downstream policy success, indicating that physically aligned video models yield stronger representations for robotic manipulation.