MVTrack4Gen: Multi-View-Punktverfolgung als geometrische Überwachung für die 4D-Videogenerierung

Zusammenfassung

Die Synthese eines Videos aus einer neuen Perspektive aus einem monokularen Referenzvideo entlang einer Ziel-Kameratrajektorie erfordert sowohl geometrische Konsistenz als auch Bewegungstreue in Bezug auf das Referenzvideo. Bestehende Methoden, die auf expliziten 3D-Repräsentationen basieren, werden durch die Genauigkeit handelsüblicher Rekonstruktionsmodule eingeschränkt, die bei dynamischen Objekten in monokularen Videos oft ungenaue Geometrien liefern. Im Gegensatz dazu können Methoden, die ausschließlich auf Kamerabedingungen basieren, eine hohe visuelle Qualität erreichen, haben aber oft Schwierigkeiten, die geometrische und Bewegungskonsistenz zu wahren. In dieser Arbeit stellen wir MVTrack4Gen (Multi-View Point Tracking for Novel-View Generation) vor, ein bewegungsbewusstes Trainingsframework, das Multi-View-Punktverfolgung als zusätzliches geometrisches und bewegungsbezogenes Überwachungssignal für ausschließlich kamerabedingte Diffusionsmodelle zur Neuansichtsvideogenerierung nutzt. Unser wichtigster Befund ist, dass bestimmte Aufmerksamkeitsschichten starke Korrespondenzhinweise kodieren, bei denen Query-Merkmale auf Key-Merkmale an geometrisch korrespondierenden Positionen über Ansichten und Zeit hinweg achten, und dass die Fehlausrichtung dieser Korrespondenzen zu Bewegungskonsistenz führt. Basierend auf dieser Beobachtung leiten wir diese Merkmale in einen zusätzlichen Multi-View-Tracking-Head und trainieren das Diffusionsmodell gemeinsam mit einem Punktverfolgungsziel. Durch die explizite Stärkung dieser bewegungsbewussten Korrespondenzen verbessert MVTrack4Gen bestehende Modelle, um die Bewegung in der Referenzansicht besser zu verfolgen und die geometrische Konsistenz zwischen den Ansichten zu wahren. Über verschiedene Benchmarks hinweg erreicht unsere Methode eine hochmoderne geometrische Konsistenz und wettbewerbsfähige Kameragenauigkeit.

English

Synthesizing a novel-view video from a monocular reference video along a target camera trajectory requires both geometric consistency and motion fidelity with respect to the reference video. Existing methods based on explicit 3D representations are limited by the accuracy of off-the-shelf reconstruction modules, which often produce inaccurate geometry for dynamic objects in monocular videos. In contrast, camera-conditioning-only methods can achieve high visual quality but often struggle to preserve geometric and motion consistency. In this work, we introduce MVTrack4Gen (Multi-View point Tracking for Novel-View Generation), a motion-aware training framework that leverages multi-view point tracking as an additional geometric and motion supervision signal for camera-conditioning-only novel-view video diffusion models. Our key finding is that specific attention layers encode strong correspondence cues, where query features attend to key features at geometrically corresponding locations across views and over time, and the misalignment of these correspondences causes motion inconsistency. Based on this observation, we route these features into an auxiliary multi-view tracking head and jointly train the diffusion model with a point-tracking objective. By explicitly strengthening these motion-aware correspondences, MVTrack4Gen improves existing models to better follow the motion in the reference view and maintain cross-view geometric consistency. Across diverse benchmarks, our method achieves state-of-the-art geometric consistency and competitive camera accuracy.