PhyRPR: Geração de Vídeo com Restrições Físicas Sem Treinamento

PhyRPR: Training-Free Physics-Constrained Video Generation

January 14, 2026

Autores: Yibo Zhao, Hengjia Li, Xiaofei He, Boxi Wu

cs.AI

Resumo

Os modelos recentes de geração de vídeo baseados em difusão podem sintetizar vídeos visualmente plausíveis, mas frequentemente têm dificuldade em satisfazer restrições físicas. Uma razão fundamental é que a maioria das abordagens existentes permanece em estágio único: elas entrelaçam a compreensão física de alto nível com a síntese visual de baixo nível, tornando difícil gerar conteúdo que exija raciocínio físico explícito. Para superar essa limitação, propomos um pipeline de três estágios que não requer treinamento, o **PhyRPR: PhyReason – PhyPlan – PhyRefine**, que desacopla a compreensão física da síntese visual. Especificamente, o **PhyReason** utiliza um modelo multimodal de grande escala para o raciocínio sobre o estado físico e um gerador de imagens para a síntese de *keyframes*; o **PhyPlan** sintetiza deterministicamente um arcabouço de movimento grosseiro e controlável; e o **PhyRefine** injeta este arcabouço na amostragem de difusão através de uma estratégia de fusão latente para refinar a aparência, preservando as dinâmicas planejadas. Este projeto em estágios permite um controle físico explícito durante a geração. Experimentos extensivos sob restrições físicas demonstram que nosso método melhora consistentemente a plausibilidade física e a controlabilidade do movimento.

English

Recent diffusion-based video generation models can synthesize visually plausible videos, yet they often struggle to satisfy physical constraints. A key reason is that most existing approaches remain single-stage: they entangle high-level physical understanding with low-level visual synthesis, making it hard to generate content that require explicit physical reasoning. To address this limitation, we propose a training-free three-stage pipeline,PhyRPR:Phy\uline{Reason}--Phy\uline{Plan}--Phy\uline{Refine}, which decouples physical understanding from visual synthesis. Specifically, PhyReason uses a large multimodal model for physical state reasoning and an image generator for keyframe synthesis; PhyPlan deterministically synthesizes a controllable coarse motion scaffold; and PhyRefine injects this scaffold into diffusion sampling via a latent fusion strategy to refine appearance while preserving the planned dynamics. This staged design enables explicit physical control during generation. Extensive experiments under physics constraints show that our method consistently improves physical plausibility and motion controllability.