Graphe de scène de question de physique : Évaluation fine de la plausibilité physique dans la génération de texte à vidéo

Résumé

Les modèles de génération vidéo sont de plus en plus capables de produire des vidéos réalistes, mais ils peinent encore à générer des vidéos qui respectent les lois physiques fondamentales. Ce problème est aggravé par le manque de méthodes d'évaluation granulaires et fiables pour localiser et spécifier les violations des lois physiques dans les vidéos. Nous y remédions en introduisant le Physics Question Scene Graph (PQSG), un pipeline d'évaluation hiérarchique basé sur des questions. PQSG évalue les vidéos générées en vérifiant leur fidélité à un prompt en ce qui concerne les objets, les actions et le respect des lois physiques, en utilisant une hiérarchie de questions basée sur un graphe générée par un modèle vision-langage (VLM), guidée par des exemples contextuels de haute qualité. En représentant les questions sous forme de graphe, PQSG introduit des dépendances logiques entre les questions, garantissant la validité contextuelle de chaque requête. De plus, PQSG fournit des évaluations granulaires des qualités de la vidéo qui violent les contraintes de plausibilité physique. Nous validons PQSG en créant FinePhyEval, un ensemble de données avec des prompts basés sur la physique et des vidéos générées correspondantes provenant de divers modèles de génération vidéo de pointe (Sora 2, Veo 3 et Wan 2.1), chaque vidéo étant annotée dans plusieurs catégories par des humains. En utilisant FinePhyEval, nous mesurons la corrélation entre les scores granulaires de PQSG et les jugements humains, montrant des corrélations globales plus élevées que les travaux antérieurs. Nous constatons également que PQSG classe les modèles à source fermée plus haut que Wan 2.1 en termes de réalisme physique. Enfin, nous montrons que les annotations fournies dans FinePhyEval peuvent également être utilisées pour l'évaluation de sous-tâches : nous évaluons deux VLM puissants sur la génération et la réponse aux questions, constatant que si les modèles peuvent créer des questions proches de celles des humains, ils restent inférieurs à la performance humaine pour y répondre.

English

Video generation models are increasingly capable of producing realistic videos, but they still struggle to generate videos that follow basic physical laws. Compounding this is a lack of reliable granular evaluation methods for localizing and specifying physical law violations in videos. We address this by introducing Physics Question Scene Graph (PQSG), a hierarchical question-based evaluation pipeline. PQSG evaluates generated videos by checking their faithfulness to a prompt across objects, actions, and adherence to physical laws using a graph-based hierarchy of questions generated by a vision-language model (VLM), guided by high-quality in-context examples. By representing questions as a graph, PQSG introduces logical dependencies within questions, ensuring that each query is contextually valid. Moreover, PQSG provides granular assessments of which qualities of the video violate physical plausibility constraints. We validate PQSG by creating FinePhyEval, a dataset with physics-based prompts and corresponding generated videos from diverse state-of-the-art video generation models (Sora 2, Veo 3, and Wan 2.1), with each video annotated across multiple categories by humans. Using FinePhyEval, we measure the correlation between PQSG's fine-grained scores and human judgments, showing higher overall correlations than prior work. We also find that PQSG ranks closed-source models higher than Wan 2.1 on physical realism. Lastly, we show that the annotations we provide in FinePhyEval can also be used for subtask evaluation: we benchmark two strong VLMs on generating and answering questions, finding that while models can create human-like questions, they still fall short of human performance in answering them.