Sora создает видео с потрясающей геометрической согласованностью.

Sora Generates Videos with Stunning Geometrical Consistency

February 27, 2024

Авторы: Xuanyi Li, Daquan Zhou, Chenxu Zhang, Shaodong Wei, Qibin Hou, Ming-Ming Cheng

cs.AI

Аннотация

Недавно разработанная модель Sora [1] продемонстрировала впечатляющие возможности в генерации видео, вызвав активные обсуждения относительно её способности моделировать реальные явления. Несмотря на растущую популярность, до сих пор отсутствуют устоявшиеся метрики для количественной оценки её соответствия законам физики реального мира. В данной статье мы представляем новый бенчмарк, который оценивает качество сгенерированных видео на основе их соответствия принципам реальной физики. Мы используем метод, преобразующий сгенерированные видео в 3D-модели, основываясь на предпосылке, что точность 3D-реконструкции существенно зависит от качества видео. С точки зрения 3D-реконструкции, мы используем точность выполнения геометрических ограничений построенными 3D-моделями как показатель, позволяющий оценить, насколько сгенерированные видео соответствуют законам физики реального мира. Страница проекта: https://sora-geometrical-consistency.github.io/

English

The recently developed Sora model [1] has exhibited remarkable capabilities in video generation, sparking intense discussions regarding its ability to simulate real-world phenomena. Despite its growing popularity, there is a lack of established metrics to evaluate its fidelity to real-world physics quantitatively. In this paper, we introduce a new benchmark that assesses the quality of the generated videos based on their adherence to real-world physics principles. We employ a method that transforms the generated videos into 3D models, leveraging the premise that the accuracy of 3D reconstruction is heavily contingent on the video quality. From the perspective of 3D reconstruction, we use the fidelity of the geometric constraints satisfied by the constructed 3D models as a proxy to gauge the extent to which the generated videos conform to real-world physics rules. Project page: https://sora-geometrical-consistency.github.io/