Wie weit sind wir von intelligentem visuellen deduktiven Schlussfolgern entfernt?

How Far Are We from Intelligent Visual Deductive Reasoning?

March 7, 2024

Autoren: Yizhe Zhang, He Bai, Ruixiang Zhang, Jiatao Gu, Shuangfei Zhai, Josh Susskind, Navdeep Jaitly

cs.AI

Zusammenfassung

Vision-Sprachmodelle (VLMs) wie GPT-4V haben kürzlich beeindruckende Fortschritte bei verschiedenen Vision-Sprach-Aufgaben gezeigt. Wir untersuchen die visionäre deduktive Schlussfolgerung, ein anspruchsvolleres, aber weniger erforschtes Gebiet, und finden zuvor unentdeckte blinde Flecken in den aktuellen SOTA VLMs. Insbesondere nutzen wir Raven's Progressive Matrices (RPMs), um die Fähigkeiten von VLMs zu bewerten, die ausschließlich auf visuelle Hinweise angewiesen sind, um mehrstufige relationale und deduktive Schlussfolgerungen durchzuführen. Wir führen umfassende Bewertungen mehrerer beliebter VLMs durch, die Standardstrategien wie kontextbezogenes Lernen, Selbstkonsistenz und Chain-of-Thoughts (CoT) auf drei verschiedenen Datensätzen, einschließlich des Mensa-IQ-Tests, des Intelligenztests und RAVEN, anwenden. Die Ergebnisse zeigen, dass trotz der beeindruckenden Fähigkeiten von LLMs im textbasierten Denken, wir noch weit davon entfernt sind, eine vergleichbare Kompetenz im visuellen deduktiven Denken zu erreichen. Wir haben festgestellt, dass bestimmte Standardstrategien, die bei LLMs wirksam sind, nicht nahtlos auf die Herausforderungen übertragen werden können, die durch visuelle Denkaufgaben dargestellt werden. Darüber hinaus zeigt eine detaillierte Analyse, dass VLMs Schwierigkeiten haben, diese Aufgaben zu lösen, hauptsächlich weil sie nicht in der Lage sind, mehrere verwirrende abstrakte Muster in RPM-Beispielen wahrzunehmen und zu verstehen.

English

Vision-Language Models (VLMs) such as GPT-4V have recently demonstrated incredible strides on diverse vision language tasks. We dig into vision-based deductive reasoning, a more sophisticated but less explored realm, and find previously unexposed blindspots in the current SOTA VLMs. Specifically, we leverage Raven's Progressive Matrices (RPMs), to assess VLMs' abilities to perform multi-hop relational and deductive reasoning relying solely on visual clues. We perform comprehensive evaluations of several popular VLMs employing standard strategies such as in-context learning, self-consistency, and Chain-of-thoughts (CoT) on three diverse datasets, including the Mensa IQ test, IntelligenceTest, and RAVEN. The results reveal that despite the impressive capabilities of LLMs in text-based reasoning, we are still far from achieving comparable proficiency in visual deductive reasoning. We found that certain standard strategies that are effective when applied to LLMs do not seamlessly translate to the challenges presented by visual reasoning tasks. Moreover, a detailed analysis reveals that VLMs struggle to solve these tasks mainly because they are unable to perceive and comprehend multiple, confounding abstract patterns in RPM examples.