DeepPHY: Benchmarking agentischer VLMs für physikalisches Denken

DeepPHY: Benchmarking Agentic VLMs on Physical Reasoning

August 7, 2025

papers.authors: Xinrun Xu, Pi Bu, Ye Wang, Börje F. Karlsson, Ziming Wang, Tengtao Song, Qi Zhu, Jun Song, Zhiming Ding, Bo Zheng

cs.AI

papers.abstract

Obwohl Vision-Language-Modelle (VLMs) starke Wahrnehmungsfähigkeiten und beeindruckende visuelle Schlussfolgerungen aufweisen, haben sie Schwierigkeiten mit der Detailgenauigkeit und präzisen Handlungsplanung in komplexen, dynamischen Umgebungen, was zu einer unterdurchschnittlichen Leistung führt. Reale Aufgaben erfordern typischerweise komplexe Interaktionen, fortgeschrittenes räumliches Denken, langfristige Planung und kontinuierliche Strategieverfeinerung, was meist ein Verständnis der physikalischen Regeln des Zielscenarios voraussetzt. Die Bewertung dieser Fähigkeiten in realen Szenarien ist jedoch oft unverhältnismäßig teuer. Um diese Lücke zu schließen, stellen wir DeepPHY vor, ein neuartiges Benchmark-Framework, das entwickelt wurde, um das Verständnis und die Schlussfolgerungsfähigkeit von VLMs bezüglich grundlegender physikalischer Prinzipien systematisch durch eine Reihe anspruchsvoller simulierte Umgebungen zu bewerten. DeepPHY integriert mehrere physikalische Denkumgebungen mit unterschiedlichen Schwierigkeitsgraden und beinhaltet fein abgestufte Bewertungsmetriken. Unsere Auswertung zeigt, dass selbst state-of-the-art VLMs Schwierigkeiten haben, beschreibendes physikalisches Wissen in präzise, vorhersagende Steuerung umzusetzen.

English

Although Vision Language Models (VLMs) exhibit strong perceptual abilities and impressive visual reasoning, they struggle with attention to detail and precise action planning in complex, dynamic environments, leading to subpar performance. Real-world tasks typically require complex interactions, advanced spatial reasoning, long-term planning, and continuous strategy refinement, usually necessitating understanding the physics rules of the target scenario. However, evaluating these capabilities in real-world scenarios is often prohibitively expensive. To bridge this gap, we introduce DeepPHY, a novel benchmark framework designed to systematically evaluate VLMs' understanding and reasoning about fundamental physical principles through a series of challenging simulated environments. DeepPHY integrates multiple physical reasoning environments of varying difficulty levels and incorporates fine-grained evaluation metrics. Our evaluation finds that even state-of-the-art VLMs struggle to translate descriptive physical knowledge into precise, predictive control.