DeepPHY: Avaliação de VLMs Agentes no Raciocínio Físico

DeepPHY: Benchmarking Agentic VLMs on Physical Reasoning

August 7, 2025

Autores: Xinrun Xu, Pi Bu, Ye Wang, Börje F. Karlsson, Ziming Wang, Tengtao Song, Qi Zhu, Jun Song, Zhiming Ding, Bo Zheng

cs.AI

Resumo

Embora os Modelos de Linguagem Visual (VLMs) demonstrem fortes habilidades perceptuais e raciocínio visual impressionante, eles enfrentam dificuldades com atenção aos detalhes e planejamento preciso de ações em ambientes complexos e dinâmicos, resultando em desempenho abaixo do ideal. Tarefas do mundo real geralmente exigem interações complexas, raciocínio espacial avançado, planejamento de longo prazo e refinamento contínuo de estratégias, normalmente necessitando da compreensão das regras físicas do cenário em questão. No entanto, avaliar essas capacidades em cenários do mundo real é frequentemente proibitivamente caro. Para preencher essa lacuna, apresentamos o DeepPHY, uma estrutura de benchmark inovadora projetada para avaliar sistematicamente a compreensão e o raciocínio dos VLMs sobre princípios físicos fundamentais por meio de uma série de ambientes simulados desafiadores. O DeepPHY integra múltiplos ambientes de raciocínio físico com níveis variados de dificuldade e incorpora métricas de avaliação detalhadas. Nossa avaliação revela que mesmo os VLMs mais avançados lutam para traduzir conhecimento físico descritivo em controle preditivo preciso.

English

Although Vision Language Models (VLMs) exhibit strong perceptual abilities and impressive visual reasoning, they struggle with attention to detail and precise action planning in complex, dynamic environments, leading to subpar performance. Real-world tasks typically require complex interactions, advanced spatial reasoning, long-term planning, and continuous strategy refinement, usually necessitating understanding the physics rules of the target scenario. However, evaluating these capabilities in real-world scenarios is often prohibitively expensive. To bridge this gap, we introduce DeepPHY, a novel benchmark framework designed to systematically evaluate VLMs' understanding and reasoning about fundamental physical principles through a series of challenging simulated environments. DeepPHY integrates multiple physical reasoning environments of varying difficulty levels and incorporates fine-grained evaluation metrics. Our evaluation finds that even state-of-the-art VLMs struggle to translate descriptive physical knowledge into precise, predictive control.