EvalCrafter: Benchmarken en evalueren van grote videogeneratiemodellen

EvalCrafter: Benchmarking and Evaluating Large Video Generation Models

October 17, 2023

Auteurs: Yaofang Liu, Xiaodong Cun, Xuebo Liu, Xintao Wang, Yong Zhang, Haoxin Chen, Yang Liu, Tieyong Zeng, Raymond Chan, Ying Shan

cs.AI

Samenvatting

De visuele en taalkundige generatieve modellen zijn de afgelopen jaren sterk gegroeid. Voor videogeneratie zijn verschillende open-source modellen en publiek beschikbare diensten vrijgegeven voor het genereren van video's van hoge visuele kwaliteit. Deze methoden gebruiken echter vaak een beperkt aantal academische metrieken, zoals FVD of IS, om de prestaties te evalueren. Wij stellen dat het moeilijk is om grote conditionele generatieve modellen te beoordelen aan de hand van eenvoudige metrieken, aangezien deze modellen vaak getraind zijn op zeer grote datasets met veelzijdige mogelijkheden. Daarom stellen we een nieuw raamwerk en een pijplijn voor om de prestaties van de gegenereerde video's uitgebreid te evalueren. Om dit te bereiken, stellen we eerst een nieuwe promptlijst samen voor tekst-naar-videogeneratie door de real-world promptlijst te analyseren met behulp van een groot taalmodel. Vervolgens evalueren we de state-of-the-art videogeneratieve modellen op onze zorgvuldig ontworpen benchmarks, wat betreft visuele kwaliteiten, inhoudelijke kwaliteiten, bewegingskwaliteiten en tekst-bijschrift-alignering met ongeveer 18 objectieve metrieken. Om de uiteindelijke ranglijst van de modellen te verkrijgen, passen we ook een reeks coëfficiënten toe om de objectieve metrieken af te stemmen op de meningen van gebruikers. Op basis van de voorgestelde opinie-afstemmingsmethode toont onze eindscore een hogere correlatie dan het simpelweg middelen van de metrieken, wat de effectiviteit van de voorgestelde evaluatiemethode aantoont.

English

The vision and language generative models have been overgrown in recent years. For video generation, various open-sourced models and public-available services are released for generating high-visual quality videos. However, these methods often use a few academic metrics, for example, FVD or IS, to evaluate the performance. We argue that it is hard to judge the large conditional generative models from the simple metrics since these models are often trained on very large datasets with multi-aspect abilities. Thus, we propose a new framework and pipeline to exhaustively evaluate the performance of the generated videos. To achieve this, we first conduct a new prompt list for text-to-video generation by analyzing the real-world prompt list with the help of the large language model. Then, we evaluate the state-of-the-art video generative models on our carefully designed benchmarks, in terms of visual qualities, content qualities, motion qualities, and text-caption alignment with around 18 objective metrics. To obtain the final leaderboard of the models, we also fit a series of coefficients to align the objective metrics to the users' opinions. Based on the proposed opinion alignment method, our final score shows a higher correlation than simply averaging the metrics, showing the effectiveness of the proposed evaluation method.