MV-Forcing: Erzeugung langer Multi-View-Videos durch 4D-basiertes raumzeitliches Self-Forcing

Zusammenfassung

Jüngste Fortschritte bei Videodiffusionsmodellen haben entweder die Generierung langer Einzelansichten durch temporale Autoregression oder die Generierung kurzer Multi-View-Synthesen durch bidirektionale Aufmerksamkeit ermöglicht. Die Erzeugung langer, multi-view-konsistenter Videos dynamischer Szenen bleibt jedoch ungelöst. In dieser Arbeit stellen wir MV-Forcing vor, ein Framework, das temporale und ansichtsbezogene Autoregression in einem einzigen Diffusionsmodell kombiniert, indem es eine 4D-geometrische Brücke zwischen sequentiell generierten Ansichten einführt. Unser zentraler Gedanke ist, dass ein autoregressives 3D-Rekonstruktionsmodell auf natürliche Weise zwischen autoregressiv generierten Ansichten vermittelt. Ausgehend von einer vollständigen Quellansicht rekonstruieren wir deren 3D-Struktur und rendern einen geometrischen Prior der nächsten Zielansicht, den das Diffusionsmodell zu einem hochwertigen Video verfeinert. Um die Generierung über das feste Zeitfenster des Lehrermodells hinaus zu erweitern, führen wir ein gemeinsames Entrauschungsverfahren ein, bei dem beide Ansichts-Slots während des Trainings aus Rauschen initialisiert werden, was eine zeitlich unbegrenzte Generierung ermöglicht. Wir destillieren das Modell mittels Distribution Matching Distillation mit Spatio-Temporal Self-Forcing, wodurch die Trainings-Inferenz-Exposure-Bias-Lücke sowohl für temporale als auch für ansichtssequenzielle Autoregression geschlossen wird. Umfangreiche Experimente sowohl an synthetischen als auch an realen Daten zeigen, dass MV-Forcing mit einem einzigen mehrstufigen Schülermodell mit wenigen Schritten geometrisch konsistente Multi-View-Videos dynamischer Szenen beliebiger Länge und Ansichtsanzahl erzeugt.

English

Recent advances in video diffusion models have enabled either long single-view generation through temporal autoregression, or short multi-view synthesis through bidirectional attention. However, generating long, multi-view consistent videos of dynamic scenes remains unsolved. In this work, we present MV-Forcing, a framework that composes temporal and view-wise autoregression within a single diffusion model by introducing a 4D geometric bridge between sequentially generated views. Our key insight is that an autoregressive 3D reconstruction model naturally interfaces between autoregressively generated views. Given a completed source view, we reconstruct its 3D structure and render a geometric prior of the next target viewpoint, which the diffusion model refines into a high-quality video. To extend generation beyond the teacher's fixed temporal window, we introduce a joint denoising regime where both view slots are initialized from noise during training, enabling temporally unbounded generation. We distill the model via Distribution Matching Distillation with Spatio-Temporal Self-Forcing, closing the train-inference exposure bias gap for both temporal and view-sequential autoregression. Extensive experiments on both synthetic and real-world data demonstrate that MV-Forcing produces geometrically consistent multi-view videos of dynamic scenes at arbitrary lengths and viewpoint counts using a single few-step student model.