PhyCo: Aanleerbare beheersbare fysieke voorkennis voor generatieve beweging

PhyCo: Learning Controllable Physical Priors for Generative Motion

April 30, 2026

Auteurs: Sriram Narayanan, Ziyu Jiang, Srinivasa Narasimhan, Manmohan Chandraker

cs.AI

Samenvatting

Moderne videodiffusiemodellen blinken uit in het synthetiseren van uiterlijkheden, maar hebben nog steeds moeite met fysische consistentie: objecten verschuiven, botsingen vertonen geen realistische terugkaatsing, en materiaalreacties komen zelden overeen met hun onderliggende eigenschappen. Wij presenteren PhyCo, een raamwerk dat continue, interpreteerbare en fysisch onderbouwde controle introduceert in videogeneratie. Onze aanpak integreert drie kernelementen: (i) een grootschalige dataset met meer dan 100K fotorealistische simulatievideo's waarin wrijving, restitutie, deformatie en kracht systematisch worden gevarieerd in diverse scenario's; (ii) fysica-gesuperviseerde finetuning van een voorgetraind diffusiemodel met een ControlNet die wordt geconditioneerd op pixelgealigneerde fysische-eigenschappenkaarten; en (iii) VLM-geleide beloningsoptimalisatie, waarbij een fijn afgesteld vision-language-model gegenereerde video's evalueert met gerichte fysica-vragen en differentieerbare feedback geeft. Deze combinatie stelt een generatief model in staat om fysisch consistente en bestuurbare uitvoer te produceren door variaties in fysieke attributen - zonder enige simulator of geometriereconstructie tijdens inferentie. Op de Physics-IQ-benchmark verbetert PhyCo de fysische realiteit aanzienlijk ten opzichte van sterke baseline-modellen, en humane studies bevestigen een duidelijkere en trouwere controle over fysieke eigenschappen. Onze resultaten tonen een schaalbare weg aan naar fysisch consistente, bestuurbare generatieve videomodellen die generaliseren voorbij synthetische trainingsomgevingen.

English

Modern video diffusion models excel at appearance synthesis but still struggle with physical consistency: objects drift, collisions lack realistic rebound, and material responses seldom match their underlying properties. We present PhyCo, a framework that introduces continuous, interpretable, and physically grounded control into video generation. Our approach integrates three key components: (i) a large-scale dataset of over 100K photorealistic simulation videos where friction, restitution, deformation, and force are systematically varied across diverse scenarios; (ii) physics-supervised fine-tuning of a pretrained diffusion model using a ControlNet conditioned on pixel-aligned physical property maps; and (iii) VLM-guided reward optimization, where a fine-tuned vision-language model evaluates generated videos with targeted physics queries and provides differentiable feedback. This combination enables a generative model to produce physically consistent and controllable outputs through variations in physical attributes-without any simulator or geometry reconstruction at inference. On the Physics-IQ benchmark, PhyCo significantly improves physical realism over strong baselines, and human studies confirm clearer and more faithful control over physical attributes. Our results demonstrate a scalable path toward physically consistent, controllable generative video models that generalize beyond synthetic training environments.