Sora는 놀라운 기하학적 일관성을 가진 비디오를 생성합니다.

초록

최근 개발된 Sora 모델[1]은 비디오 생성 분야에서 뛰어난 능력을 보여주며, 현실 세계 현상을 시뮬레이션할 수 있는 가능성에 대해 활발한 논의를 촉발시켰습니다. 그러나 그 인기가 높아짐에도 불구하고, 생성된 비디오가 현실 세계의 물리 법칙을 얼마나 충실히 따르는지를 정량적으로 평가할 수 있는 확립된 지표가 부족한 상황입니다. 본 논문에서는 현실 세계의 물리 법칙 준수 여부를 기준으로 생성된 비디오의 품질을 평가하는 새로운 벤치마크를 소개합니다. 우리는 생성된 비디오를 3D 모델로 변환하는 방법을 사용하며, 3D 재구성의 정확도가 비디오 품질에 크게 의존한다는 전제를 활용합니다. 3D 재구성 관점에서, 우리는 구성된 3D 모델이 만족하는 기하학적 제약의 충실도를 통해 생성된 비디오가 현실 세계 물리 법칙을 얼마나 준수하는지를 간접적으로 측정합니다. 프로젝트 페이지: https://sora-geometrical-consistency.github.io/

English

The recently developed Sora model [1] has exhibited remarkable capabilities in video generation, sparking intense discussions regarding its ability to simulate real-world phenomena. Despite its growing popularity, there is a lack of established metrics to evaluate its fidelity to real-world physics quantitatively. In this paper, we introduce a new benchmark that assesses the quality of the generated videos based on their adherence to real-world physics principles. We employ a method that transforms the generated videos into 3D models, leveraging the premise that the accuracy of 3D reconstruction is heavily contingent on the video quality. From the perspective of 3D reconstruction, we use the fidelity of the geometric constraints satisfied by the constructed 3D models as a proxy to gauge the extent to which the generated videos conform to real-world physics rules. Project page: https://sora-geometrical-consistency.github.io/

Sora는 놀라운 기하학적 일관성을 가진 비디오를 생성합니다.

Sora Generates Videos with Stunning Geometrical Consistency

초록

Summary

Support