Sora genereert video's met verbluffende geometrische consistentie.
Sora Generates Videos with Stunning Geometrical Consistency
February 27, 2024
Auteurs: Xuanyi Li, Daquan Zhou, Chenxu Zhang, Shaodong Wei, Qibin Hou, Ming-Ming Cheng
cs.AI
Samenvatting
Het recent ontwikkelde Sora-model [1] heeft opmerkelijke capaciteiten getoond in videogeneratie, wat intense discussies heeft opgeroepen over zijn vermogen om real-world fenomenen te simuleren. Ondanks zijn groeiende populariteit ontbreekt het aan gevestigde metrieken om zijn trouw aan real-world fysica kwantitatief te evalueren. In dit artikel introduceren we een nieuwe benchmark die de kwaliteit van de gegenereerde video's beoordeelt op basis van hun naleving van real-world fysicaprincipes. We gebruiken een methode die de gegenereerde video's omzet in 3D-modellen, waarbij we uitgaan van het idee dat de nauwkeurigheid van 3D-reconstructie sterk afhankelijk is van de videokwaliteit. Vanuit het perspectief van 3D-reconstructie gebruiken we de trouw van de geometrische beperkingen die door de geconstrueerde 3D-modellen worden voldaan als een proxy om te bepalen in hoeverre de gegenereerde video's voldoen aan de regels van real-world fysica. Projectpagina: https://sora-geometrical-consistency.github.io/
English
The recently developed Sora model [1] has exhibited remarkable capabilities
in video generation, sparking intense discussions regarding its ability to
simulate real-world phenomena. Despite its growing popularity, there is a lack
of established metrics to evaluate its fidelity to real-world physics
quantitatively. In this paper, we introduce a new benchmark that assesses the
quality of the generated videos based on their adherence to real-world physics
principles. We employ a method that transforms the generated videos into 3D
models, leveraging the premise that the accuracy of 3D reconstruction is
heavily contingent on the video quality. From the perspective of 3D
reconstruction, we use the fidelity of the geometric constraints satisfied by
the constructed 3D models as a proxy to gauge the extent to which the generated
videos conform to real-world physics rules. Project page:
https://sora-geometrical-consistency.github.io/