PhyRPR: Generación de Vídeo con Restricciones Físicas sin Entrenamiento

PhyRPR: Training-Free Physics-Constrained Video Generation

January 14, 2026

Autores: Yibo Zhao, Hengjia Li, Xiaofei He, Boxi Wu

cs.AI

Resumen

Los modelos recientes de generación de vídeo basados en difusión pueden sintetizar vídeos visualmente plausibles, pero a menudo presentan dificultades para satisfacer restricciones físicas. Una razón clave es que la mayoría de los enfoques existentes siguen siendo unietapa: entienden la comprensión física de alto nivel con la síntesis visual de bajo nivel, lo que dificulta la generación de contenido que requiera un razonamiento físico explícito. Para abordar esta limitación, proponemos un pipeline de tres etapas que no requiere entrenamiento, PhyRPR: PhyRazonar-PhyPlanificar-PhyRefinar, que desacopla la comprensión física de la síntesis visual. Específicamente, PhyRazonar utiliza un modelo multimodal grande para el razonamiento del estado físico y un generador de imágenes para la síntesis de fotogramas clave; PhyPlanificar sintetiza de manera determinista un andamiaje de movimiento grueso controlable; y PhyRefinar inyecta este andamiaje en el muestreo por difusión mediante una estrategia de fusión latente para refinar la apariencia preservando la dinámica planificada. Este diseño por etapas permite un control físico explícito durante la generación. Experimentos exhaustivos bajo restricciones físicas demuestran que nuestro método mejora consistentemente la plausibilidad física y la controlabilidad del movimiento.

English

Recent diffusion-based video generation models can synthesize visually plausible videos, yet they often struggle to satisfy physical constraints. A key reason is that most existing approaches remain single-stage: they entangle high-level physical understanding with low-level visual synthesis, making it hard to generate content that require explicit physical reasoning. To address this limitation, we propose a training-free three-stage pipeline,PhyRPR:Phy\uline{Reason}--Phy\uline{Plan}--Phy\uline{Refine}, which decouples physical understanding from visual synthesis. Specifically, PhyReason uses a large multimodal model for physical state reasoning and an image generator for keyframe synthesis; PhyPlan deterministically synthesizes a controllable coarse motion scaffold; and PhyRefine injects this scaffold into diffusion sampling via a latent fusion strategy to refine appearance while preserving the planned dynamics. This staged design enables explicit physical control during generation. Extensive experiments under physics constraints show that our method consistently improves physical plausibility and motion controllability.