PhyMotion: Gestructureerde 3D-bewegingsbeloning voor fysisch gefundeerde menselijke videogeneratie

Samenvatting

Het genereren van realistische menselijke bewegingen vormt een centrale maar onopgeloste uitdaging in videogeneratie. Hoewel op reinforcement learning (RL) gebaseerde post-training recente vooruitgang heeft geboekt in de algemene videokwaliteit, wordt de uitbreiding ervan naar menselijke bewegingen nog steeds belemmerd door een beloningssignaal dat bewegingsrealisme niet betrouwbaar kan beoordelen. Bestaande videobelongen vertrouwen voornamelijk op 2D perceptuele signalen, zonder expliciet de 3D lichaamsstatus, het contact en de dynamica onderliggend aan de gearticuleerde menselijke beweging te modelleren, en kennen vaak hoge scores toe aan video's met zwevende lichamen of fysiek onwaarschijnlijke bewegingen. Om dit aan te pakken, stellen we PhyMotion voor: een gestructureerde, fijnmazige bewegingsbeloning die teruggewonnen 3D menselijke trajecten verankert in een fysicasimulator en de bewegingskwaliteit langs meerdere dimensies van fysieke haalbaarheid evalueert. Concreet reconstrueren we SMPL-lichaamsnetten uit gegenereerde video's, zetten deze over op een humanoïde in de MuJoCo-fysicasimulator, en evalueren we de resulterende beweging langs drie assen: kinematische plausibiliteit, consistentie van contact en balans, en dynamische haalbaarheid. Elke component levert een continu en interpreteerbaar signaal dat is gekoppeld aan een specifiek aspect van bewegingskwaliteit, waardoor de beloning kan vastleggen welke aspecten van beweging fysiek correct of geschonden zijn. Experimenten tonen aan dat PhyMotion een sterkere correlatie met menselijke beoordelingen vertoont dan bestaande beloningsformuleringen. Deze winsten worden doorgezet naar op RL gebaseerde post-training, waarbij optimalisatie van PhyMotion leidt tot grotere en consistentere verbeteringen dan optimalisatie van bestaande beloningen, en het realisme van beweging verbetert bij zowel autoregressieve als bidirectionele videogeneratoren, onder zowel automatische metrieken als blinde menselijke evaluatie (+68 Elo-winst). Ablatiestudies tonen aan dat de drie assen complementaire supervisiesignalen leveren, terwijl de beloning de algehele videogeneratiekwaliteit behoudt met slechts een bescheiden trainingsoverhead.

English

Generating realistic human motion is a central yet unsolved challenge in video generation. While reinforcement learning (RL)-based post-training has driven recent gains in general video quality, extending it to human motion remains bottlenecked by a reward signal that cannot reliably score motion realism. Existing video rewards primarily rely on 2D perceptual signals, without explicitly modeling the 3D body state, contact, and dynamics underlying articulated human motion, and often assign high scores to videos with floating bodies or physically implausible movements. To address this, we propose PhyMotion, a structured, fine-grained motion reward that grounds recovered 3D human trajectories in a physics simulator and evaluates motion quality along multiple dimensions of physical feasibility. Concretely, we recover SMPL body meshes from generated videos, retarget them onto a humanoid in the MuJoCo physics simulator, and evaluate the resulting motion along three axes: kinematic plausibility, contact and balance consistency, and dynamic feasibility. Each component provides a continuous and interpretable signal tied to a specific aspect of motion quality, allowing the reward to capture which aspects of motion are physically correct or violated. Experiments show that PhyMotion achieves stronger correlation with human judgments than existing reward formulations. These gains carry over to RL-based post-training, where optimizing PhyMotion leads to larger and more consistent improvements than optimizing existing rewards, improving motion realism across both autoregressive and bidirectional video generators under both automatic metrics and blind human evaluation (+68 Elo gain). Ablations show that the three axes provide complementary supervision signals, while the reward preserves overall video generation quality with only modest training overhead.