VisPhyWorld: Sondeo del razonamiento físico mediante reconstrucción de vídeo impulsada por código
VisPhyWorld: Probing Physical Reasoning via Code-Driven Video Reconstruction
February 9, 2026
Autores: Jiarong Liang, Max Ku, Ka-Hei Hui, Ping Nie, Wenhu Chen
cs.AI
Resumen
Evaluar si los Modelos de Lenguaje Grandes Multimodales (MLLMs) razonan genuinamente sobre dinámicas físicas sigue siendo un desafío. La mayoría de los puntos de referencia existentes se basan en protocolos de tipo reconocimiento, como Respuesta a Preguntas Visuales (VQA) y Violación de la Expectativa (VoE), que a menudo pueden responderse sin comprometerse con una hipótesis física explícita y comprobable. Proponemos VisPhyWorld, un marco de trabajo basado en ejecución que evalúa el razonamiento físico requiriendo que los modelos generen código ejecutable para un simulador a partir de observaciones visuales. Al producir código ejecutable, la representación del mundo inferida es directamente inspeccionable, editable y falsable. Esto separa el razonamiento físico del renderizado. Sobre la base de este marco, presentamos VisPhyBench, que comprende 209 escenas de evaluación derivadas de 108 plantillas físicas y un protocolo sistemático que evalúa qué tan bien los modelos reconstruyen la apariencia y reproducen un movimiento físicamente plausible. Nuestra canalización produce vídeos reconstruidos válidos en un 97.7% en el punto de referencia. Los experimentos muestran que, si bien los MLLMs de vanguardia logran una fuerte comprensión semántica de la escena, tienen dificultades para inferir con precisión parámetros físicos y para simular dinámicas físicas consistentes.
English
Evaluating whether Multimodal Large Language Models (MLLMs) genuinely reason about physical dynamics remains challenging. Most existing benchmarks rely on recognition-style protocols such as Visual Question Answering (VQA) and Violation of Expectation (VoE), which can often be answered without committing to an explicit, testable physical hypothesis. We propose VisPhyWorld, an execution-based framework that evaluates physical reasoning by requiring models to generate executable simulator code from visual observations. By producing runnable code, the inferred world representation is directly inspectable, editable, and falsifiable. This separates physical reasoning from rendering. Building on this framework, we introduce VisPhyBench, comprising 209 evaluation scenes derived from 108 physical templates and a systematic protocol that evaluates how well models reconstruct appearance and reproduce physically plausible motion. Our pipeline produces valid reconstructed videos in 97.7% on the benchmark. Experiments show that while state-of-the-art MLLMs achieve strong semantic scene understanding, they struggle to accurately infer physical parameters and to simulate consistent physical dynamics.