DeepPHY: Evaluación de VLMs Agentes en Razonamiento Físico

DeepPHY: Benchmarking Agentic VLMs on Physical Reasoning

August 7, 2025

Autores: Xinrun Xu, Pi Bu, Ye Wang, Börje F. Karlsson, Ziming Wang, Tengtao Song, Qi Zhu, Jun Song, Zhiming Ding, Bo Zheng

cs.AI

Resumen

Aunque los Modelos de Lenguaje Visual (VLMs, por sus siglas en inglés) exhiben fuertes habilidades perceptivas y un razonamiento visual impresionante, tienen dificultades para prestar atención a los detalles y planificar acciones precisas en entornos complejos y dinámicos, lo que resulta en un rendimiento subóptimo. Las tareas del mundo real suelen requerir interacciones complejas, razonamiento espacial avanzado, planificación a largo plazo y un refinamiento continuo de estrategias, lo que generalmente implica comprender las reglas físicas del escenario objetivo. Sin embargo, evaluar estas capacidades en escenarios del mundo real suele ser prohibitivamente costoso. Para cerrar esta brecha, presentamos DeepPHY, un marco de evaluación novedoso diseñado para evaluar sistemáticamente la comprensión y el razonamiento de los VLMs sobre principios físicos fundamentales a través de una serie de entornos simulados desafiantes. DeepPHY integra múltiples entornos de razonamiento físico con distintos niveles de dificultad e incorpora métricas de evaluación detalladas. Nuestra evaluación revela que incluso los VLMs más avanzados tienen dificultades para traducir el conocimiento físico descriptivo en un control predictivo preciso.

English

Although Vision Language Models (VLMs) exhibit strong perceptual abilities and impressive visual reasoning, they struggle with attention to detail and precise action planning in complex, dynamic environments, leading to subpar performance. Real-world tasks typically require complex interactions, advanced spatial reasoning, long-term planning, and continuous strategy refinement, usually necessitating understanding the physics rules of the target scenario. However, evaluating these capabilities in real-world scenarios is often prohibitively expensive. To bridge this gap, we introduce DeepPHY, a novel benchmark framework designed to systematically evaluate VLMs' understanding and reasoning about fundamental physical principles through a series of challenging simulated environments. DeepPHY integrates multiple physical reasoning environments of varying difficulty levels and incorporates fine-grained evaluation metrics. Our evaluation finds that even state-of-the-art VLMs struggle to translate descriptive physical knowledge into precise, predictive control.