Sora erzeugt Videos mit beeindruckender geometrischer Konsistenz.

Sora Generates Videos with Stunning Geometrical Consistency

February 27, 2024

Autoren: Xuanyi Li, Daquan Zhou, Chenxu Zhang, Shaodong Wei, Qibin Hou, Ming-Ming Cheng

cs.AI

Zusammenfassung

Das kürzlich entwickelte Sora-Modell [1] hat bemerkenswerte Fähigkeiten in der Videogenerierung gezeigt, was intensive Diskussionen über seine Fähigkeit zur Simulation realer Phänomene ausgelöst hat. Trotz seiner zunehmenden Beliebtheit gibt es einen Mangel an etablierten Metriken, um seine Treue zur realen Physik quantitativ zu bewerten. In diesem Artikel stellen wir einen neuen Benchmark vor, der die Qualität der generierten Videos anhand ihrer Übereinstimmung mit den Prinzipien der realen Physik bewertet. Wir verwenden eine Methode, die die generierten Videos in 3D-Modelle umwandelt, wobei wir die Prämisse nutzen, dass die Genauigkeit der 3D-Rekonstruktion stark von der Videoqualität abhängt. Aus der Perspektive der 3D-Rekonstruktion verwenden wir die Treue der geometrischen Einschränkungen, die von den konstruierten 3D-Modellen erfüllt werden, als Proxy, um das Ausmaß zu messen, in dem die generierten Videos den Regeln der realen Physik entsprechen. Projektseite: https://sora-geometrical-consistency.github.io/

English

The recently developed Sora model [1] has exhibited remarkable capabilities in video generation, sparking intense discussions regarding its ability to simulate real-world phenomena. Despite its growing popularity, there is a lack of established metrics to evaluate its fidelity to real-world physics quantitatively. In this paper, we introduce a new benchmark that assesses the quality of the generated videos based on their adherence to real-world physics principles. We employ a method that transforms the generated videos into 3D models, leveraging the premise that the accuracy of 3D reconstruction is heavily contingent on the video quality. From the perspective of 3D reconstruction, we use the fidelity of the geometric constraints satisfied by the constructed 3D models as a proxy to gauge the extent to which the generated videos conform to real-world physics rules. Project page: https://sora-geometrical-consistency.github.io/