PhyMotion: Strukturierte 3D-Bewegungsbelohnung für physikbasierte Generierung menschlicher Videos

Zusammenfassung

Die Erzeugung realistischer menschlicher Bewegungen ist eine zentrale, aber noch ungelöste Herausforderung in der Videogenerierung. Während Reinforcement-Learning (RL)-basiertes Post-Training zu jüngsten Fortschritten bei der allgemeinen Videoqualität geführt hat, wird seine Anwendung auf menschliche Bewegungen durch ein Belohnungssignal eingeschränkt, das die Bewegungsrealität nicht zuverlässig bewerten kann. Bestehende Videobelohnungen stützen sich hauptsächlich auf 2D-perzeptive Signale, ohne den 3D-Körperzustand, Kontakt und die Dynamik, die der artikulierten menschlichen Bewegung zugrunde liegen, explizit zu modellieren, und weisen oft hohe Bewertungen für Videos mit schwebenden Körpern oder physikalisch nicht plausiblen Bewegungen zu. Um dies zu adressieren, schlagen wir PhyMotion vor, eine strukturierte, feinkörnige Bewegungsbelohnung, die wiederhergestellte 3D-Menschentrajektorien in einem Physik-Simulator verankert und die Bewegungsqualität entlang mehrerer Dimensionen physikalischer Machbarkeit bewertet. Konkret stellen wir SMPL-Körpernetze aus generierten Videos wieder her, übertragen sie auf einen Humanoiden im MuJoCo-Physik-Simulator und bewerten die resultierende Bewegung entlang dreier Achsen: kinematische Plausibilität, Kontakt- und Gleichgewichtskonsistenz sowie dynamische Machbarkeit. Jede Komponente liefert ein kontinuierliches und interpretierbares Signal, das an einen spezifischen Aspekt der Bewegungsqualität gebunden ist, wodurch die Belohnung erfassen kann, welche Aspekte der Bewegung physikalisch korrekt sind oder verletzt werden. Experimente zeigen, dass PhyMotion eine stärkere Korrelation mit menschlichen Bewertungen erzielt als bestehende Belohnungsformulierungen. Diese Gewinne übertragen sich auf das RL-basierte Post-Training, wo die Optimierung von PhyMotion zu größeren und konsistenteren Verbesserungen führt als die Optimierung bestehender Belohnungen, wodurch die Bewegungsrealität sowohl bei autoregressiven als auch bei bidirektionalen Videogeneratoren unter automatischen Metriken und in blinder menschlicher Evaluierung (+68 Elo-Punkte) verbessert wird. Ablationsstudien zeigen, dass die drei Achsen komplementäre Überwachungssignale liefern, während die Belohnung die allgemeine Videogenerierungsqualität mit nur geringem Trainingsaufwand erhält.

English

Generating realistic human motion is a central yet unsolved challenge in video generation. While reinforcement learning (RL)-based post-training has driven recent gains in general video quality, extending it to human motion remains bottlenecked by a reward signal that cannot reliably score motion realism. Existing video rewards primarily rely on 2D perceptual signals, without explicitly modeling the 3D body state, contact, and dynamics underlying articulated human motion, and often assign high scores to videos with floating bodies or physically implausible movements. To address this, we propose PhyMotion, a structured, fine-grained motion reward that grounds recovered 3D human trajectories in a physics simulator and evaluates motion quality along multiple dimensions of physical feasibility. Concretely, we recover SMPL body meshes from generated videos, retarget them onto a humanoid in the MuJoCo physics simulator, and evaluate the resulting motion along three axes: kinematic plausibility, contact and balance consistency, and dynamic feasibility. Each component provides a continuous and interpretable signal tied to a specific aspect of motion quality, allowing the reward to capture which aspects of motion are physically correct or violated. Experiments show that PhyMotion achieves stronger correlation with human judgments than existing reward formulations. These gains carry over to RL-based post-training, where optimizing PhyMotion leads to larger and more consistent improvements than optimizing existing rewards, improving motion realism across both autoregressive and bidirectional video generators under both automatic metrics and blind human evaluation (+68 Elo gain). Ablations show that the three axes provide complementary supervision signals, while the reward preserves overall video generation quality with only modest training overhead.