Ragionamento Fisico Interpretabile e Tassonomia delle Prestazioni nei Modelli Visione-Linguaggio

Abstract

Man mano che i Modelli Visione-Linguaggio (VLMs) diventano più sofisticati, la loro capacità di eseguire ragionamenti è oggetto di una crescente supervisione. Sebbene eccellano in molti compiti, la loro comprensione di principi scientifici fondamentali, come la fisica, rimane una frontiera poco esplorata. Per riflettere i progressi in queste capacità, introduciamo un nuovo e accessibile framework progettato per valutare rigorosamente la comprensione della fisica 2D da parte dei VLMs. Il nostro framework include un generatore di scenari pragmatici che crea un testbed diversificato di oltre 400 problemi in quattro domini principali: Moto dei Proiettili, Dinamica delle Collisioni, Meccanica e Dinamica dei Fluidi. Attraverso una valutazione completa di quattro VLMs all'avanguardia, dimostriamo una forte correlazione tra la scala del modello e la capacità di ragionamento, con il nostro modello di punta, Qwen2.5-VL-7B, che raggiunge un punteggio complessivo di 0.815. Rileviamo che, mentre i modelli eccellono nei problemi formulari, incontrano notevoli difficoltà nei domini che richiedono ragionamento spaziale astratto. Progettando questo framework, miriamo a democratizzare lo studio del ragionamento scientifico nei VLMs e a favorire una comprensione più profonda delle loro capacità e limitazioni.

English

As Vision-Language Models (VLMs) grow in sophistication, their ability to perform reasoning is coming under increasing supervision. While they excel at many tasks, their grasp of fundamental scientific principles, such as physics, remains an underexplored frontier. To reflect the advancements in these capabilities, we introduce a novel and accessible framework designed to rigorously evaluate VLMs on their understanding of 2D physics. Our framework features a pragmatic scenario generator that creates a diverse testbed of over 400 problems across four core domains: Projectile Motion, Collision Dynamics, Mechanics, and Fluid Dynamics. Through comprehensive evaluation of four state-of-the-art VLMs, we demonstrate a strong correlation between model scale and reasoning ability, with our top-performing model, Qwen2.5-VL-7B, achieving an overall score of 0.815. We find that while models excel at formulaic problems, they struggle significantly with domains requiring abstract spatial reasoning. By designing this framework, we aim to democratize the study of scientific reasoning in VLMs and foster deeper insights into their capabilities and limitations.

Ragionamento Fisico Interpretabile e Tassonomia delle Prestazioni nei Modelli Visione-Linguaggio

Interpretable Physics Reasoning and Performance Taxonomy in Vision-Language Models

Abstract

Support