Physikfragen-Szenengraph: Feinkörnige Bewertung der physikalischen Plausibilität in der Text-zu-Video-Generierung

Zusammenfassung

Videogenerierungsmodelle werden immer leistungsfähiger bei der Erstellung realistischer Videos, haben jedoch weiterhin Schwierigkeiten, Videos zu generieren, die grundlegenden physikalischen Gesetzen folgen. Dies wird durch einen Mangel an zuverlässigen granularen Bewertungsmethoden zur Lokalisierung und Spezifizierung von Verstößen gegen physikalische Gesetze in Videos verschärft. Wir begegnen diesem Problem mit der Einführung des Physics Question Scene Graph (PQSG), einer hierarchischen, fragebasierten Bewertungspipeline. PQSG bewertet generierte Videos, indem es deren Übereinstimmung mit einem Prompt in Bezug auf Objekte, Aktionen und die Einhaltung physikalischer Gesetze überprüft. Dabei wird eine graphbasierte Hierarchie von Fragen verwendet, die von einem Vision-Language-Modell (VLM) unter Anleitung hochwertiger In-Context-Beispiele erzeugt werden. Indem Fragen als Graph dargestellt werden, führt PQSG logische Abhängigkeiten zwischen den Fragen ein, sodass jede Abfrage kontextuell gültig ist. Darüber hinaus bietet PQSG granulare Bewertungen darüber, welche Eigenschaften des Videos gegen physikalische Plausibilitätsbeschränkungen verstoßen. Wir validieren PQSG durch die Erstellung von FinePhyEval, einem Datensatz mit physikbasierten Prompts und entsprechenden generierten Videos aus verschiedenen hochmodernen Videogenerierungsmodellen (Sora 2, Veo 3 und Wan 2.1), wobei jedes Video von Menschen in mehreren Kategorien annotiert wurde. Unter Verwendung von FinePhyEval messen wir die Korrelation zwischen den feinkörnigen Bewertungen von PQSG und menschlichen Beurteilungen und zeigen höhere Gesamtkorrelationen als in früheren Arbeiten. Wir stellen außerdem fest, dass PQSG Closed-Source-Modelle in Bezug auf physikalische Realitätsnähe höher bewertet als Wan 2.1. Schließlich zeigen wir, dass die in FinePhyEval bereitgestellten Annotationen auch für die Bewertung von Teilaufgaben verwendet werden können: Wir benchmarken zwei starke VLMs hinsichtlich der Generierung und Beantwortung von Fragen und stellen fest, dass Modelle zwar menschenähnliche Fragen erzeugen können, bei der Beantwortung jedoch noch hinter der menschlichen Leistung zurückbleiben.

English

Video generation models are increasingly capable of producing realistic videos, but they still struggle to generate videos that follow basic physical laws. Compounding this is a lack of reliable granular evaluation methods for localizing and specifying physical law violations in videos. We address this by introducing Physics Question Scene Graph (PQSG), a hierarchical question-based evaluation pipeline. PQSG evaluates generated videos by checking their faithfulness to a prompt across objects, actions, and adherence to physical laws using a graph-based hierarchy of questions generated by a vision-language model (VLM), guided by high-quality in-context examples. By representing questions as a graph, PQSG introduces logical dependencies within questions, ensuring that each query is contextually valid. Moreover, PQSG provides granular assessments of which qualities of the video violate physical plausibility constraints. We validate PQSG by creating FinePhyEval, a dataset with physics-based prompts and corresponding generated videos from diverse state-of-the-art video generation models (Sora 2, Veo 3, and Wan 2.1), with each video annotated across multiple categories by humans. Using FinePhyEval, we measure the correlation between PQSG's fine-grained scores and human judgments, showing higher overall correlations than prior work. We also find that PQSG ranks closed-source models higher than Wan 2.1 on physical realism. Lastly, we show that the annotations we provide in FinePhyEval can also be used for subtask evaluation: we benchmark two strong VLMs on generating and answering questions, finding that while models can create human-like questions, they still fall short of human performance in answering them.