VisPhyWorld: Untersuchung physikalischen Denkens durch code-gesteuerte Videorekonstruktion

VisPhyWorld: Probing Physical Reasoning via Code-Driven Video Reconstruction

February 9, 2026

papers.authors: Jiarong Liang, Max Ku, Ka-Hei Hui, Ping Nie, Wenhu Chen

cs.AI

papers.abstract

Die Bewertung, ob multimodale große Sprachmodelle (MLLMs) tatsächlich physikalische Dynamiken verstehen, bleibt eine Herausforderung. Die meisten bestehenden Benchmarks stützen sich auf erkennungsbasierte Protokolle wie Visual Question Answering (VQA) und Verletzung der Erwartung (VoE), die oft beantwortet werden können, ohne sich auf eine explizite, überprüfbare physikalische Hypothese festzulegen. Wir schlagen VisPhyWorld vor, ein ausführungsbasiertes Framework, das physikalisches Verständnis evaluiert, indem es Modelle dazu anhält, aus visuellen Beobachtungen ausführbaren Simulatorcode zu generieren. Durch die Erzeugung von ausführbarem Code wird die abgeleitete Weltrepräsentation direkt überprüfbar, editierbar und falsifizierbar. Dies trennt physikalisches Verständnis vom Rendering. Aufbauend auf diesem Framework führen wir VisPhyBench ein, das 209 Testszenen umfasst, die aus 108 physikalischen Templates abgeleitet wurden, sowie ein systematisches Protokoll, das bewertet, wie gut Modelle das Erscheinungsbild rekonstruieren und physikalisch plausible Bewegungen reproduzieren. Unsere Pipeline erzeugt auf dem Benchmark in 97,7 % der Fälle gültige rekonstruierte Videos. Experimente zeigen, dass state-of-the-art MLLMs zwar ein starkes semantisches Szenenverständnis erreichen, es ihnen jedoch schwerfällt, physikalische Parameter präzise abzuleiten und konsistente physikalische Dynamiken zu simulieren.

English

Evaluating whether Multimodal Large Language Models (MLLMs) genuinely reason about physical dynamics remains challenging. Most existing benchmarks rely on recognition-style protocols such as Visual Question Answering (VQA) and Violation of Expectation (VoE), which can often be answered without committing to an explicit, testable physical hypothesis. We propose VisPhyWorld, an execution-based framework that evaluates physical reasoning by requiring models to generate executable simulator code from visual observations. By producing runnable code, the inferred world representation is directly inspectable, editable, and falsifiable. This separates physical reasoning from rendering. Building on this framework, we introduce VisPhyBench, comprising 209 evaluation scenes derived from 108 physical templates and a systematic protocol that evaluates how well models reconstruct appearance and reproduce physically plausible motion. Our pipeline produces valid reconstructed videos in 97.7% on the benchmark. Experiments show that while state-of-the-art MLLMs achieve strong semantic scene understanding, they struggle to accurately infer physical parameters and to simulate consistent physical dynamics.