PhyCo: Erlernbare steuerbare physikalische A-priori-Informationen für generative Bewegung

PhyCo: Learning Controllable Physical Priors for Generative Motion

April 30, 2026

Autoren: Sriram Narayanan, Ziyu Jiang, Srinivasa Narasimhan, Manmohan Chandraker

cs.AI

Zusammenfassung

Moderne Video-Diffusionsmodelle glänzen in der Erzeugung von realistischen Oberflächeneigenschaften, haben jedoch nach wie vor Schwierigkeiten mit physikalischer Konsistenz: Objekte driften, Kollisionen zeigen keine realistische Rückprallwirkung, und Materialreaktionen entsprechen selten ihren zugrundeliegenden Eigenschaften. Wir stellen PhyCo vor, ein Framework, das kontinuierliche, interpretierbare und physikalisch fundierte Steuerung in die Videogenerierung einführt. Unser Ansatz integriert drei Schlüsselkomponenten: (i) einen umfangreichen Datensatz mit über 100.000 fotorealistischen Simulationsvideos, in denen Reibung, Rückprallkoeffizient, Verformung und Kraft systematisch über verschiedene Szenarien variiert werden; (ii) ein physikalisch überwachtes Fine-Tuning eines vortrainierten Diffusionsmodells unter Verwendung eines ControlNet, das auf pixelgenaue physikalische Eigenschafts-Karten konditioniert ist; und (iii) eine VLM-gestützte Belohnungsoptimierung, bei der ein feinabgestimmtes Vision-Language-Model generierte Videos mit gezielten Physik-Fragen evaluiert und differenzierbare Rückmeldung liefert. Diese Kombination ermöglicht es einem generativen Modell, physikalisch konsistente und steuerbare Ergebnisse durch Variation physikalischer Attribute zu erzeugen – ohne jeglichen Simulator oder Geometrierekonstruktion während der Inferenz. Auf dem Physics-IQ-Benchmark verbessert PhyCo die physikalische Realitätsnähe signifikant gegenüber starken Baseline-Modellen, und Humanstudien bestätigen eine klarere und treuere Steuerung der physikalischen Attribute. Unsere Ergebnisse demonstrieren einen skalierbaren Weg hin zu physikalisch konsistenten, steuerbaren generativen Videomodellen, die über synthetische Trainingsumgebungen hinaus generalisieren.

English

Modern video diffusion models excel at appearance synthesis but still struggle with physical consistency: objects drift, collisions lack realistic rebound, and material responses seldom match their underlying properties. We present PhyCo, a framework that introduces continuous, interpretable, and physically grounded control into video generation. Our approach integrates three key components: (i) a large-scale dataset of over 100K photorealistic simulation videos where friction, restitution, deformation, and force are systematically varied across diverse scenarios; (ii) physics-supervised fine-tuning of a pretrained diffusion model using a ControlNet conditioned on pixel-aligned physical property maps; and (iii) VLM-guided reward optimization, where a fine-tuned vision-language model evaluates generated videos with targeted physics queries and provides differentiable feedback. This combination enables a generative model to produce physically consistent and controllable outputs through variations in physical attributes-without any simulator or geometry reconstruction at inference. On the Physics-IQ benchmark, PhyCo significantly improves physical realism over strong baselines, and human studies confirm clearer and more faithful control over physical attributes. Our results demonstrate a scalable path toward physically consistent, controllable generative video models that generalize beyond synthetic training environments.