Quanto Siamo Lontani dal Ragionamento Deduttivo Visivo Intelligente?

How Far Are We from Intelligent Visual Deductive Reasoning?

March 7, 2024

Autori: Yizhe Zhang, He Bai, Ruixiang Zhang, Jiatao Gu, Shuangfei Zhai, Josh Susskind, Navdeep Jaitly

cs.AI

Abstract

I modelli visione-linguaggio (VLMs) come GPT-4V hanno recentemente dimostrato progressi incredibili in una vasta gamma di task che combinano visione e linguaggio. Ci addentriamo nel ragionamento deduttivo basato sulla visione, un ambito più sofisticato ma meno esplorato, e scopriamo punti ciechi precedentemente non evidenziati negli attuali VLMs all'avanguardia. Nello specifico, utilizziamo le Matrici Progressive di Raven (RPMs) per valutare le capacità dei VLMs di eseguire ragionamenti relazionali e deduttivi multi-hop basandosi esclusivamente su indizi visivi. Eseguiamo valutazioni approfondite di diversi VLMs popolari impiegando strategie standard come l'apprendimento in-context, la self-consistency e la Catena di Pensiero (CoT) su tre dataset diversi, tra cui il test del QI Mensa, IntelligenceTest e RAVEN. I risultati rivelano che, nonostante le impressionanti capacità dei LLMs nel ragionamento basato sul testo, siamo ancora lontani dal raggiungere una competenza comparabile nel ragionamento deduttivo visivo. Abbiamo scoperto che alcune strategie standard efficaci quando applicate ai LLMs non si traducono in modo fluido nelle sfide poste dai task di ragionamento visivo. Inoltre, un'analisi dettagliata mostra che i VLMs faticano a risolvere questi task principalmente perché non riescono a percepire e comprendere molteplici pattern astratti e confondenti presenti negli esempi di RPM.

English

Vision-Language Models (VLMs) such as GPT-4V have recently demonstrated incredible strides on diverse vision language tasks. We dig into vision-based deductive reasoning, a more sophisticated but less explored realm, and find previously unexposed blindspots in the current SOTA VLMs. Specifically, we leverage Raven's Progressive Matrices (RPMs), to assess VLMs' abilities to perform multi-hop relational and deductive reasoning relying solely on visual clues. We perform comprehensive evaluations of several popular VLMs employing standard strategies such as in-context learning, self-consistency, and Chain-of-thoughts (CoT) on three diverse datasets, including the Mensa IQ test, IntelligenceTest, and RAVEN. The results reveal that despite the impressive capabilities of LLMs in text-based reasoning, we are still far from achieving comparable proficiency in visual deductive reasoning. We found that certain standard strategies that are effective when applied to LLMs do not seamlessly translate to the challenges presented by visual reasoning tasks. Moreover, a detailed analysis reveals that VLMs struggle to solve these tasks mainly because they are unable to perceive and comprehend multiple, confounding abstract patterns in RPM examples.