Sora génère des vidéos avec une cohérence géométrique impressionnante.
Sora Generates Videos with Stunning Geometrical Consistency
February 27, 2024
Auteurs: Xuanyi Li, Daquan Zhou, Chenxu Zhang, Shaodong Wei, Qibin Hou, Ming-Ming Cheng
cs.AI
Résumé
Le modèle Sora récemment développé [1] a démontré des capacités remarquables en génération vidéo, suscitant des discussions intenses concernant son aptitude à simuler des phénomènes du monde réel. Malgré sa popularité croissante, il existe un manque de métriques établies pour évaluer quantitativement sa fidélité aux lois physiques réelles. Dans cet article, nous introduisons un nouveau benchmark qui évalue la qualité des vidéos générées en fonction de leur adhérence aux principes physiques du monde réel. Nous employons une méthode qui transforme les vidéos générées en modèles 3D, en nous appuyant sur le postulat que la précision de la reconstruction 3D dépend fortement de la qualité de la vidéo. Du point de vue de la reconstruction 3D, nous utilisons la fidélité des contraintes géométriques satisfaites par les modèles 3D construits comme un indicateur pour mesurer dans quelle mesure les vidéos générées se conforment aux règles physiques du monde réel. Page du projet : https://sora-geometrical-consistency.github.io/
English
The recently developed Sora model [1] has exhibited remarkable capabilities
in video generation, sparking intense discussions regarding its ability to
simulate real-world phenomena. Despite its growing popularity, there is a lack
of established metrics to evaluate its fidelity to real-world physics
quantitatively. In this paper, we introduce a new benchmark that assesses the
quality of the generated videos based on their adherence to real-world physics
principles. We employ a method that transforms the generated videos into 3D
models, leveraging the premise that the accuracy of 3D reconstruction is
heavily contingent on the video quality. From the perspective of 3D
reconstruction, we use the fidelity of the geometric constraints satisfied by
the constructed 3D models as a proxy to gauge the extent to which the generated
videos conform to real-world physics rules. Project page:
https://sora-geometrical-consistency.github.io/