Sora gera vídeos com impressionante consistência geométrica.
Sora Generates Videos with Stunning Geometrical Consistency
February 27, 2024
Autores: Xuanyi Li, Daquan Zhou, Chenxu Zhang, Shaodong Wei, Qibin Hou, Ming-Ming Cheng
cs.AI
Resumo
O modelo Sora [1], desenvolvido recentemente, demonstrou capacidades notáveis na geração de vídeos, desencadeando discussões intensas sobre sua habilidade de simular fenômenos do mundo real. Apesar de sua crescente popularidade, há uma carência de métricas estabelecidas para avaliar quantitativamente sua fidelidade às leis físicas do mundo real. Neste artigo, introduzimos um novo benchmark que avalia a qualidade dos vídeos gerados com base em sua aderência aos princípios físicos do mundo real. Empregamos um método que transforma os vídeos gerados em modelos 3D, partindo da premissa de que a precisão da reconstrução 3D depende fortemente da qualidade do vídeo. A partir da perspectiva da reconstrução 3D, utilizamos a fidelidade das restrições geométricas satisfeitas pelos modelos 3D construídos como um indicador para medir até que ponto os vídeos gerados estão em conformidade com as regras físicas do mundo real. Página do projeto: https://sora-geometrical-consistency.github.io/
English
The recently developed Sora model [1] has exhibited remarkable capabilities
in video generation, sparking intense discussions regarding its ability to
simulate real-world phenomena. Despite its growing popularity, there is a lack
of established metrics to evaluate its fidelity to real-world physics
quantitatively. In this paper, we introduce a new benchmark that assesses the
quality of the generated videos based on their adherence to real-world physics
principles. We employ a method that transforms the generated videos into 3D
models, leveraging the premise that the accuracy of 3D reconstruction is
heavily contingent on the video quality. From the perspective of 3D
reconstruction, we use the fidelity of the geometric constraints satisfied by
the constructed 3D models as a proxy to gauge the extent to which the generated
videos conform to real-world physics rules. Project page:
https://sora-geometrical-consistency.github.io/