À quelle distance sommes-nous du raisonnement déductif visuel intelligent ?

How Far Are We from Intelligent Visual Deductive Reasoning?

March 7, 2024

Auteurs: Yizhe Zhang, He Bai, Ruixiang Zhang, Jiatao Gu, Shuangfei Zhai, Josh Susskind, Navdeep Jaitly

cs.AI

Résumé

Les modèles vision-langage (VLMs) tels que GPT-4V ont récemment réalisé des progrès impressionnants sur une variété de tâches associant vision et langage. Nous nous penchons sur le raisonnement déductif basé sur la vision, un domaine plus sophistiqué mais moins exploré, et identifions des angles morts jusqu'alors inconnus dans les VLMs actuels de pointe. Plus précisément, nous utilisons les Matrices Progressives de Raven (RPMs) pour évaluer la capacité des VLMs à effectuer un raisonnement relationnel et déductif multi-étapes en s'appuyant uniquement sur des indices visuels. Nous menons une évaluation approfondie de plusieurs VLMs populaires en employant des stratégies standard telles que l'apprentissage en contexte, l'auto-cohérence et le Chaîne de Pensée (CoT) sur trois ensembles de données variés, incluant le test de QI Mensa, IntelligenceTest et RAVEN. Les résultats montrent que, malgré les capacités impressionnantes des LLMs en matière de raisonnement textuel, nous sommes encore loin d'atteindre une compétence comparable dans le raisonnement déductif visuel. Nous constatons que certaines stratégies standard efficaces pour les LLMs ne se transposent pas aisément aux défis posés par les tâches de raisonnement visuel. De plus, une analyse détaillée révèle que les VLMs peinent à résoudre ces tâches principalement parce qu'elles sont incapables de percevoir et de comprendre les multiples motifs abstraits et complexes présents dans les exemples de RPM.

English

Vision-Language Models (VLMs) such as GPT-4V have recently demonstrated incredible strides on diverse vision language tasks. We dig into vision-based deductive reasoning, a more sophisticated but less explored realm, and find previously unexposed blindspots in the current SOTA VLMs. Specifically, we leverage Raven's Progressive Matrices (RPMs), to assess VLMs' abilities to perform multi-hop relational and deductive reasoning relying solely on visual clues. We perform comprehensive evaluations of several popular VLMs employing standard strategies such as in-context learning, self-consistency, and Chain-of-thoughts (CoT) on three diverse datasets, including the Mensa IQ test, IntelligenceTest, and RAVEN. The results reveal that despite the impressive capabilities of LLMs in text-based reasoning, we are still far from achieving comparable proficiency in visual deductive reasoning. We found that certain standard strategies that are effective when applied to LLMs do not seamlessly translate to the challenges presented by visual reasoning tasks. Moreover, a detailed analysis reveals that VLMs struggle to solve these tasks mainly because they are unable to perceive and comprehend multiple, confounding abstract patterns in RPM examples.