PhyRPR : Génération de vidéos contraintes par la physique sans apprentissage

PhyRPR: Training-Free Physics-Constrained Video Generation

January 14, 2026

papers.authors: Yibo Zhao, Hengjia Li, Xiaofei He, Boxi Wu

cs.AI

papers.abstract

Les modèles récents de génération vidéo par diffusion peuvent synthétiser des séquences visuellement plausibles, mais peinent souvent à satisfaire les contraintes physiques. Une raison majeure réside dans le fait que la plupart des approches existantes demeurent monolithiques : elles entremêlent la compréhension physique de haut niveau avec la synthèse visuelle de bas niveau, rendant difficile la génération de contenu nécessitant un raisonnement physique explicite. Pour pallier cette limite, nous proposons une méthode en trois étapes ne nécessitant pas d’apprentissage, PhyRPR : Phy**Reason**–Phy**Plan**–Phy**Refine**, qui découple la compréhension physique de la synthèse visuelle. Concrètement, PhyReason utilise un grand modèle multimodal pour le raisonnement sur l’état physique et un générateur d’images pour la synthèse des images clés ; PhyPlan synthétise de manière déterministe une ébauche de mouvement grossière et contrôlable ; et PhyRefine intègre cette ébauche dans l’échantillonnage par diffusion via une stratégie de fusion latente, afin de peaufiner l’apparence tout en préservant la dynamique planifiée. Cette conception modulaire permet un contrôle physique explicite durant la génération. Des expériences approfondies sous contraintes physiques montrent que notre méthode améliore systématiquement la plausibilité physique et la contrôlabilité du mouvement.

English

Recent diffusion-based video generation models can synthesize visually plausible videos, yet they often struggle to satisfy physical constraints. A key reason is that most existing approaches remain single-stage: they entangle high-level physical understanding with low-level visual synthesis, making it hard to generate content that require explicit physical reasoning. To address this limitation, we propose a training-free three-stage pipeline,PhyRPR:Phy\uline{Reason}--Phy\uline{Plan}--Phy\uline{Refine}, which decouples physical understanding from visual synthesis. Specifically, PhyReason uses a large multimodal model for physical state reasoning and an image generator for keyframe synthesis; PhyPlan deterministically synthesizes a controllable coarse motion scaffold; and PhyRefine injects this scaffold into diffusion sampling via a latent fusion strategy to refine appearance while preserving the planned dynamics. This staged design enables explicit physical control during generation. Extensive experiments under physics constraints show that our method consistently improves physical plausibility and motion controllability.