SynCamMaster: Synchronisierte Erzeugung von Mehrkamera-Videos aus verschiedenen BlickwinkelnSynCamMaster: Synchronizing Multi-Camera Video Generation from Diverse
Viewpoints
Die jüngsten Fortschritte in Video-Diffusionsmodellen haben außergewöhnliche Fähigkeiten gezeigt, um realitätsnahe Dynamiken zu simulieren und eine 3D-Konsistenz aufrechtzuerhalten. Dieser Fortschritt inspiriert uns, das Potenzial dieser Modelle zu untersuchen, um eine dynamische Konsistenz über verschiedene Blickwinkel hinweg sicherzustellen, eine äußerst wünschenswerte Eigenschaft für Anwendungen wie virtuelles Filmen. Im Gegensatz zu bestehenden Methoden, die sich auf die Mehrblickgenerierung einzelner Objekte für die 4D-Rekonstruktion konzentrieren, liegt unser Interesse darin, Open-World-Videos aus beliebigen Blickwinkeln zu generieren, unter Einbeziehung von 6 DoF-Kamerapositionen. Um dies zu erreichen, schlagen wir ein Plug-and-Play-Modul vor, das ein vortrainiertes Text-zu-Video-Modell zur Generierung von Mehrkamera-Videos verbessert und eine konsistente Inhaltsdarstellung über verschiedene Blickwinkel hinweg gewährleistet. Konkret führen wir ein Mehrblick-Synchronisationsmodul ein, um Erscheinungsbild- und Geometriekonsistenz über diese Blickwinkel hinweg aufrechtzuerhalten. Angesichts des Mangels an hochwertigen Trainingsdaten entwerfen wir ein hybrides Schulungsschema, das Mehrkamera-Bilder und monokulare Videos nutzt, um von Unreal Engine gerenderte Mehrkamera-Videos zu ergänzen. Darüber hinaus ermöglicht unsere Methode faszinierende Erweiterungen, wie das Neu-Rendern eines Videos aus neuen Blickwinkeln. Wir veröffentlichen auch einen Mehrblick-synchronisierten Videodatensatz namens SynCamVideo-Datensatz. Projektseite: https://jianhongbai.github.io/SynCamMaster/.