우리는 지능형 시각적 연역 추론으로부터 얼마나 멀리 있는가?

초록

GPT-4V와 같은 Vision-Language Models(VLMs)는 최근 다양한 비전-언어 작업에서 놀라운 진전을 보여주었습니다. 우리는 더 정교하지만 덜 탐구된 영역인 비전 기반 연역적 추론을 깊이 파고들어 현재 최첨단 VLMs에서 이전에 노출되지 않은 취약점을 발견했습니다. 구체적으로, 우리는 Raven's Progressive Matrices(RPMs)를 활용하여 VLMs가 시각적 단서만을 기반으로 다중 홉 관계적 및 연역적 추론을 수행하는 능력을 평가합니다. 우리는 Mensa IQ 테스트, IntelligenceTest, RAVEN 등 세 가지 다양한 데이터셋에서 in-context learning, self-consistency, Chain-of-thoughts(CoT)와 같은 표준 전략을 사용하여 여러 인기 있는 VLMs에 대한 포괄적인 평가를 수행합니다. 그 결과, 텍스트 기반 추론에서 LLMs의 인상적인 능력에도 불구하고, 시각적 연역적 추론에서 비슷한 숙련도를 달성하기에는 아직 멀었다는 사실이 드러났습니다. 우리는 LLMs에 효과적으로 적용되는 특정 표준 전략들이 시각적 추론 작업이 제시하는 도전에 원활하게 적용되지 않는다는 것을 발견했습니다. 더욱이, 상세한 분석을 통해 VLMs가 RPM 예제에서 여러 가지 혼란스러운 추상적 패턴을 인지하고 이해하지 못함으로써 이러한 작업을 해결하는 데 어려움을 겪는다는 사실이 밝혀졌습니다.

English

Vision-Language Models (VLMs) such as GPT-4V have recently demonstrated incredible strides on diverse vision language tasks. We dig into vision-based deductive reasoning, a more sophisticated but less explored realm, and find previously unexposed blindspots in the current SOTA VLMs. Specifically, we leverage Raven's Progressive Matrices (RPMs), to assess VLMs' abilities to perform multi-hop relational and deductive reasoning relying solely on visual clues. We perform comprehensive evaluations of several popular VLMs employing standard strategies such as in-context learning, self-consistency, and Chain-of-thoughts (CoT) on three diverse datasets, including the Mensa IQ test, IntelligenceTest, and RAVEN. The results reveal that despite the impressive capabilities of LLMs in text-based reasoning, we are still far from achieving comparable proficiency in visual deductive reasoning. We found that certain standard strategies that are effective when applied to LLMs do not seamlessly translate to the challenges presented by visual reasoning tasks. Moreover, a detailed analysis reveals that VLMs struggle to solve these tasks mainly because they are unable to perceive and comprehend multiple, confounding abstract patterns in RPM examples.

우리는 지능형 시각적 연역 추론으로부터 얼마나 멀리 있는가?

How Far Are We from Intelligent Visual Deductive Reasoning?

초록

Support