PhyCo : Apprentissage de priors physiques contrôlables pour la génération de mouvement

PhyCo: Learning Controllable Physical Priors for Generative Motion

April 30, 2026

Auteurs: Sriram Narayanan, Ziyu Jiang, Srinivasa Narasimhan, Manmohan Chandraker

cs.AI

Résumé

Les modèles modernes de diffusion vidéo excellent dans la synthèse d'apparence mais peinent encore avec la cohérence physique : les objets dérivent, les collisions manquent de rebond réaliste, et les réactions des matériaux correspondent rarement à leurs propriétés sous-jacentes. Nous présentons PhyCo, un cadre qui introduit un contrôle continu, interprétable et physiquement fondé dans la génération vidéo. Notre approche intègre trois composants clés : (i) un jeu de données à grande échelle de plus de 100 000 vidéos de simulation photoréalistes où le frottement, la restitution, la déformation et la force sont systématiquement variés dans divers scénarios ; (ii) un fine-tuning supervisé par la physique d'un modèle de diffusion pré-entraîné utilisant un ControlNet conditionné par des cartes de propriétés physiques alignées pixel par pixel ; et (iii) une optimisation de récompense guidée par VLM, où un modèle vision-langage fine-tuné évalue les vidéos générées avec des requêtes physiques ciblées et fournit un retour différenciable. Cette combinaison permet à un modèle génératif de produire des résultats physiquement cohérents et contrôlables via des variations d'attributs physiques - sans aucun simulateur ou reconstruction géométrique lors de l'inférence. Sur le benchmark Physics-IQ, PhyCo améliore significativement le réalisme physique par rapport aux bases de référence solides, et des études humaines confirment un contrôle plus clair et plus fidèle des attributs physiques. Nos résultats démontrent une voie évolutive vers des modèles génératifs vidéo physiquement cohérents et contrôlables qui généralisent au-delà des environnements d'entraînement synthétiques.

English

Modern video diffusion models excel at appearance synthesis but still struggle with physical consistency: objects drift, collisions lack realistic rebound, and material responses seldom match their underlying properties. We present PhyCo, a framework that introduces continuous, interpretable, and physically grounded control into video generation. Our approach integrates three key components: (i) a large-scale dataset of over 100K photorealistic simulation videos where friction, restitution, deformation, and force are systematically varied across diverse scenarios; (ii) physics-supervised fine-tuning of a pretrained diffusion model using a ControlNet conditioned on pixel-aligned physical property maps; and (iii) VLM-guided reward optimization, where a fine-tuned vision-language model evaluates generated videos with targeted physics queries and provides differentiable feedback. This combination enables a generative model to produce physically consistent and controllable outputs through variations in physical attributes-without any simulator or geometry reconstruction at inference. On the Physics-IQ benchmark, PhyCo significantly improves physical realism over strong baselines, and human studies confirm clearer and more faithful control over physical attributes. Our results demonstrate a scalable path toward physically consistent, controllable generative video models that generalize beyond synthetic training environments.