Soraは驚くべき幾何学的整合性を備えた動画を生成する

Sora Generates Videos with Stunning Geometrical Consistency

February 27, 2024

著者: Xuanyi Li, Daquan Zhou, Chenxu Zhang, Shaodong Wei, Qibin Hou, Ming-Ming Cheng

cs.AI

要旨

最近開発されたSoraモデル[1]は、ビデオ生成において顕著な能力を示し、現実世界の現象をシミュレートする能力について激しい議論を引き起こしています。その人気が高まる一方で、現実世界の物理法則に対する忠実度を定量的に評価するための確立された指標が不足しています。本論文では、生成されたビデオの品質を、現実世界の物理法則への準拠度に基づいて評価する新しいベンチマークを紹介します。我々は、生成されたビデオを3Dモデルに変換する手法を採用し、3D再構成の精度がビデオの品質に大きく依存するという前提を活用します。3D再構成の観点から、構築された3Dモデルが満たす幾何学的制約の忠実度を、生成されたビデオが現実世界の物理法則にどれだけ準拠しているかを測る代理指標として使用します。プロジェクトページ: https://sora-geometrical-consistency.github.io/

English

The recently developed Sora model [1] has exhibited remarkable capabilities in video generation, sparking intense discussions regarding its ability to simulate real-world phenomena. Despite its growing popularity, there is a lack of established metrics to evaluate its fidelity to real-world physics quantitatively. In this paper, we introduce a new benchmark that assesses the quality of the generated videos based on their adherence to real-world physics principles. We employ a method that transforms the generated videos into 3D models, leveraging the premise that the accuracy of 3D reconstruction is heavily contingent on the video quality. From the perspective of 3D reconstruction, we use the fidelity of the geometric constraints satisfied by the constructed 3D models as a proxy to gauge the extent to which the generated videos conform to real-world physics rules. Project page: https://sora-geometrical-consistency.github.io/