PhysisForcing: Simulador del mundo reforzado con física para manipulación robótica

Resumen

Los modelos de generación de video han surgido como un paradigma prometedor para la simulación del mundo encarnado. Sin embargo, tanto los generadores de video de dominio general como los modelos ajustados con datos específicos de robots aún pueden producir manipulaciones físicamente inconsistentes, que incluyen trayectorias de movimiento discontinuas e interacciones robot-objeto inconsistentes, lo que limita su fiabilidad como simuladores del mundo. Mediante experimentos exhaustivos, encontramos que dicha inestabilidad física surge principalmente de dos factores: la deformación de objetos en movimiento y las correlaciones espacio-temporales inverosímiles entre entidades que interactúan, particularmente durante el contacto. Basándonos en esta observación, proponemos PhysisForcing, un marco de entrenamiento escalable que fortalece la consistencia física al centrar la supervisión en regiones informativas desde el punto de vista físico mediante la optimización conjunta de características a nivel de píxel y a nivel semántico. El marco consta de una pérdida de alineación de trayectorias a nivel de píxel, que supervisa las características DiT utilizando trayectorias de puntos de referencia, y una pérdida de alineación relacional a nivel semántico, que alinea las características DiT con relaciones entre regiones extraídas de un codificador de comprensión de video congelado. Experimentos exhaustivos en R-Bench, PAI-Bench y EZS-Bench muestran que PhysisForcing mejora consistentemente la generación de video encarnado en comparación con líneas base sólidas, mejorando los modelos base Wan2.2-I2V-A14B y Cosmos3-Nano en R-Bench en un 22.3\% y un 9.2\% (7.1\% y 3.7\% sobre el ajuste fino estándar), con la variante Cosmos3-Nano obteniendo la mejor puntuación general. Más allá de la generación, como modelo del mundo bajo el protocolo de planificador de acciones de WorldArena, eleva la tasa de éxito en ciclo cerrado del 16.0\% al 24.0\% y mejora aún más el éxito de la política descendente, lo que indica que los modelos de video alineados físicamente generan representaciones más sólidas para la manipulación robótica.

English

Video generation models have emerged as a promising paradigm for embodied world simulation. However, both general-domain video generators and robot-specific data fine-tuned models can still produce physically implausible manipulations, including discontinuous motion trajectories and inconsistent robot-object interactions, which limits their reliability as world simulators. Through extensive experiments, we find that such physical instability mainly arises from two factors: deformation of moving objects and implausible spatio-temporal correlations among interacting entities, particularly during contact. Building on this observation, we propose PhysisForcing, a scalable training framework that strengthens physical consistency by focusing supervision on physics-informative regions through joint optimization of pixel-level and semantic-level features. The framework consists of a pixel-level trajectory alignment loss, which supervises DiT features using reference point trajectories, and a semantic-level relational alignment loss, which aligns DiT features with inter-region relations extracted from a frozen video understanding encoder. Extensive experiments on R-Bench, PAI-Bench, and EZS-Bench show that PhysisForcing consistently improves embodied video generation over strong baselines, improving the Wan2.2-I2V-A14B and Cosmos3-Nano base models on R-Bench by 22.3\% and 9.2\% (7.1\% and 3.7\% over vanilla finetuning), with the Cosmos3-Nano variant attaining the best overall score. Beyond generation, as a world model under the WorldArena action-planner protocol it raises the closed-loop success rate from 16.0\% to 24.0\% and further improves downstream policy success, indicating that physically aligned video models yield stronger representations for robotic manipulation.