Grafo de Escena de Pregunta de Física: Evaluación Detallada de la Plausibilidad Física en la Generación de Texto a Video

Resumen

Los modelos de generación de video son cada vez más capaces de producir videos realistas, pero aún tienen dificultades para generar videos que sigan las leyes físicas básicas. A esto se suma la falta de métodos de evaluación granular confiables para localizar y especificar violaciones de las leyes físicas en los videos. Abordamos este problema introduciendo el Grafo de Escenas de Preguntas Físicas (PQSG, por sus siglas en inglés), un pipeline de evaluación jerárquico basado en preguntas. PQSG evalúa videos generados verificando su fidelidad a una indicación en términos de objetos, acciones y cumplimiento de leyes físicas, utilizando una jerarquía basada en grafos de preguntas generadas por un modelo de lenguaje y visión (VLM), guiado por ejemplos de contexto de alta calidad. Al representar las preguntas como un grafo, PQSG introduce dependencias lógicas entre las preguntas, asegurando que cada consulta sea contextualmente válida. Además, PQSG proporciona evaluaciones granulares sobre qué cualidades del video violan las restricciones de plausibilidad física. Validamos PQSG creando FinePhyEval, un conjunto de datos con indicaciones basadas en física y videos generados correspondientes de diversos modelos de generación de video de última generación (Sora 2, Veo 3 y Wan 2.1), donde cada video está anotado en múltiples categorías por humanos. Usando FinePhyEval, medimos la correlación entre las puntuaciones detalladas de PQSG y los juicios humanos, mostrando correlaciones generales más altas que trabajos anteriores. También encontramos que PQSG clasifica los modelos de código cerrado por encima de Wan 2.1 en realismo físico. Por último, mostramos que las anotaciones proporcionadas en FinePhyEval también pueden utilizarse para la evaluación de subtareas: evaluamos dos VLMs potentes en la generación y respuesta de preguntas, encontrando que, si bien los modelos pueden crear preguntas similares a las humanas, aún están por debajo del rendimiento humano al responderlas.

English

Video generation models are increasingly capable of producing realistic videos, but they still struggle to generate videos that follow basic physical laws. Compounding this is a lack of reliable granular evaluation methods for localizing and specifying physical law violations in videos. We address this by introducing Physics Question Scene Graph (PQSG), a hierarchical question-based evaluation pipeline. PQSG evaluates generated videos by checking their faithfulness to a prompt across objects, actions, and adherence to physical laws using a graph-based hierarchy of questions generated by a vision-language model (VLM), guided by high-quality in-context examples. By representing questions as a graph, PQSG introduces logical dependencies within questions, ensuring that each query is contextually valid. Moreover, PQSG provides granular assessments of which qualities of the video violate physical plausibility constraints. We validate PQSG by creating FinePhyEval, a dataset with physics-based prompts and corresponding generated videos from diverse state-of-the-art video generation models (Sora 2, Veo 3, and Wan 2.1), with each video annotated across multiple categories by humans. Using FinePhyEval, we measure the correlation between PQSG's fine-grained scores and human judgments, showing higher overall correlations than prior work. We also find that PQSG ranks closed-source models higher than Wan 2.1 on physical realism. Lastly, we show that the annotations we provide in FinePhyEval can also be used for subtask evaluation: we benchmark two strong VLMs on generating and answering questions, finding that while models can create human-like questions, they still fall short of human performance in answering them.