DeepPHY : Évaluation des modèles de langage visuel agentiques sur le raisonnement physique

DeepPHY: Benchmarking Agentic VLMs on Physical Reasoning

August 7, 2025

papers.authors: Xinrun Xu, Pi Bu, Ye Wang, Börje F. Karlsson, Ziming Wang, Tengtao Song, Qi Zhu, Jun Song, Zhiming Ding, Bo Zheng

cs.AI

papers.abstract

Bien que les modèles de langage visuel (VLMs) démontrent de solides capacités perceptuelles et un raisonnement visuel impressionnant, ils éprouvent des difficultés à accorder une attention aux détails et à planifier des actions précises dans des environnements complexes et dynamiques, ce qui entraîne des performances médiocres. Les tâches du monde réel nécessitent généralement des interactions complexes, un raisonnement spatial avancé, une planification à long terme et un affinement continu des stratégies, exigeant souvent une compréhension des règles physiques du scénario cible. Cependant, évaluer ces capacités dans des scénarios réels est souvent prohibitivement coûteux. Pour combler cette lacune, nous présentons DeepPHY, un cadre de référence novateur conçu pour évaluer systématiquement la compréhension et le raisonnement des VLMs sur les principes physiques fondamentaux à travers une série d'environnements simulés exigeants. DeepPHY intègre plusieurs environnements de raisonnement physique de niveaux de difficulté variés et incorpore des métriques d'évaluation fines. Notre évaluation révèle que même les VLMs les plus avancés peinent à traduire des connaissances physiques descriptives en un contrôle prédictif précis.

English

Although Vision Language Models (VLMs) exhibit strong perceptual abilities and impressive visual reasoning, they struggle with attention to detail and precise action planning in complex, dynamic environments, leading to subpar performance. Real-world tasks typically require complex interactions, advanced spatial reasoning, long-term planning, and continuous strategy refinement, usually necessitating understanding the physics rules of the target scenario. However, evaluating these capabilities in real-world scenarios is often prohibitively expensive. To bridge this gap, we introduce DeepPHY, a novel benchmark framework designed to systematically evaluate VLMs' understanding and reasoning about fundamental physical principles through a series of challenging simulated environments. DeepPHY integrates multiple physical reasoning environments of varying difficulty levels and incorporates fine-grained evaluation metrics. Our evaluation finds that even state-of-the-art VLMs struggle to translate descriptive physical knowledge into precise, predictive control.