Raisonnement physique interprétable et taxonomie de performance dans les modèles vision-langage

papers.abstract

Alors que les modèles vision-langage (VLMs) gagnent en sophistication, leur capacité à effectuer des raisonnements fait l'objet d'une supervision accrue. Bien qu'ils excellent dans de nombreuses tâches, leur compréhension des principes scientifiques fondamentaux, tels que la physique, reste une frontière peu explorée. Pour refléter les avancées dans ces capacités, nous introduisons un cadre novateur et accessible conçu pour évaluer rigoureusement les VLMs sur leur compréhension de la physique en 2D. Notre cadre comprend un générateur de scénarios pragmatiques qui crée un ensemble diversifié de plus de 400 problèmes répartis dans quatre domaines clés : le mouvement des projectiles, la dynamique des collisions, la mécanique et la dynamique des fluides. À travers une évaluation approfondie de quatre VLMs de pointe, nous démontrons une forte corrélation entre la taille du modèle et sa capacité de raisonnement, avec notre meilleur modèle, Qwen2.5-VL-7B, atteignant un score global de 0,815. Nous constatons que si les modèles excellent dans les problèmes formulaires, ils rencontrent des difficultés significatives dans les domaines nécessitant un raisonnement spatial abstrait. En concevant ce cadre, nous visons à démocratiser l'étude du raisonnement scientifique dans les VLMs et à favoriser une compréhension plus approfondie de leurs capacités et de leurs limites.

English

As Vision-Language Models (VLMs) grow in sophistication, their ability to perform reasoning is coming under increasing supervision. While they excel at many tasks, their grasp of fundamental scientific principles, such as physics, remains an underexplored frontier. To reflect the advancements in these capabilities, we introduce a novel and accessible framework designed to rigorously evaluate VLMs on their understanding of 2D physics. Our framework features a pragmatic scenario generator that creates a diverse testbed of over 400 problems across four core domains: Projectile Motion, Collision Dynamics, Mechanics, and Fluid Dynamics. Through comprehensive evaluation of four state-of-the-art VLMs, we demonstrate a strong correlation between model scale and reasoning ability, with our top-performing model, Qwen2.5-VL-7B, achieving an overall score of 0.815. We find that while models excel at formulaic problems, they struggle significantly with domains requiring abstract spatial reasoning. By designing this framework, we aim to democratize the study of scientific reasoning in VLMs and foster deeper insights into their capabilities and limitations.

Raisonnement physique interprétable et taxonomie de performance dans les modèles vision-langage

Interpretable Physics Reasoning and Performance Taxonomy in Vision-Language Models

papers.abstract

Support