На сколько мы далеки от интеллектуального визуального дедуктивного мышления?
How Far Are We from Intelligent Visual Deductive Reasoning?
March 7, 2024
Авторы: Yizhe Zhang, He Bai, Ruixiang Zhang, Jiatao Gu, Shuangfei Zhai, Josh Susskind, Navdeep Jaitly
cs.AI
Аннотация
Модели видео-языка (VLM), такие как GPT-4V, недавно продемонстрировали невероятные успехи в различных задачах видео-языкового взаимодействия. Мы исследуем видео-основанное дедуктивное мышление, более сложную, но менее изученную область, и обнаруживаем ранее не выявленные слепые пятна в текущих передовых VLM. Конкретно, мы используем Матрицы Рэйвена (RPM), чтобы оценить способности VLM выполнять многопрыжковое относительное и дедуктивное мышление, полагаясь исключительно на визуальные подсказки. Мы проводим всестороннюю оценку нескольких популярных VLM, используя стандартные стратегии, такие как обучение в контексте, самосогласованность и Цепочка мыслей (CoT) на трех различных наборах данных, включая тест на IQ Mensa, IntelligenceTest и RAVEN. Результаты показывают, что несмотря на впечатляющие возможности LLM в текстовом мышлении, мы все еще далеки от достижения сопоставимой профессиональной подготовки в визуальном дедуктивном мышлении. Мы обнаружили, что определенные стандартные стратегии, которые эффективны при применении к LLM, не безупречно переносятся на задачи, представленные визуальным мышлением. Более того, детальный анализ показывает, что VLM испытывают затруднения в решении этих задач в основном потому, что они не способны воспринимать и понимать несколько запутанных абстрактных узоров в примерах RPM.
English
Vision-Language Models (VLMs) such as GPT-4V have recently demonstrated
incredible strides on diverse vision language tasks. We dig into vision-based
deductive reasoning, a more sophisticated but less explored realm, and find
previously unexposed blindspots in the current SOTA VLMs. Specifically, we
leverage Raven's Progressive Matrices (RPMs), to assess VLMs' abilities to
perform multi-hop relational and deductive reasoning relying solely on visual
clues. We perform comprehensive evaluations of several popular VLMs employing
standard strategies such as in-context learning, self-consistency, and
Chain-of-thoughts (CoT) on three diverse datasets, including the Mensa IQ test,
IntelligenceTest, and RAVEN. The results reveal that despite the impressive
capabilities of LLMs in text-based reasoning, we are still far from achieving
comparable proficiency in visual deductive reasoning. We found that certain
standard strategies that are effective when applied to LLMs do not seamlessly
translate to the challenges presented by visual reasoning tasks. Moreover, a
detailed analysis reveals that VLMs struggle to solve these tasks mainly
because they are unable to perceive and comprehend multiple, confounding
abstract patterns in RPM examples.