Sora genera videos con una impresionante consistencia geométrica.
Sora Generates Videos with Stunning Geometrical Consistency
February 27, 2024
Autores: Xuanyi Li, Daquan Zhou, Chenxu Zhang, Shaodong Wei, Qibin Hou, Ming-Ming Cheng
cs.AI
Resumen
El recientemente desarrollado modelo Sora [1] ha demostrado capacidades notables en la generación de videos, generando intensos debates sobre su habilidad para simular fenómenos del mundo real. A pesar de su creciente popularidad, existe una falta de métricas establecidas para evaluar cuantitativamente su fidelidad a la física del mundo real. En este artículo, presentamos un nuevo punto de referencia que evalúa la calidad de los videos generados en función de su adherencia a los principios de la física real. Empleamos un método que transforma los videos generados en modelos 3D, aprovechando la premisa de que la precisión de la reconstrucción 3D depende en gran medida de la calidad del video. Desde la perspectiva de la reconstrucción 3D, utilizamos la fidelidad de las restricciones geométricas satisfechas por los modelos 3D construidos como un indicador para medir el grado en que los videos generados se ajustan a las reglas de la física del mundo real. Página del proyecto: https://sora-geometrical-consistency.github.io/
English
The recently developed Sora model [1] has exhibited remarkable capabilities
in video generation, sparking intense discussions regarding its ability to
simulate real-world phenomena. Despite its growing popularity, there is a lack
of established metrics to evaluate its fidelity to real-world physics
quantitatively. In this paper, we introduce a new benchmark that assesses the
quality of the generated videos based on their adherence to real-world physics
principles. We employ a method that transforms the generated videos into 3D
models, leveraging the premise that the accuracy of 3D reconstruction is
heavily contingent on the video quality. From the perspective of 3D
reconstruction, we use the fidelity of the geometric constraints satisfied by
the constructed 3D models as a proxy to gauge the extent to which the generated
videos conform to real-world physics rules. Project page:
https://sora-geometrical-consistency.github.io/