Могут ли крупные модели рассуждений выполнять аналогические рассуждения в условиях перцептивной неопределенности?

Can Large Reasoning Models do Analogical Reasoning under Perceptual Uncertainty?

March 14, 2025

Авторы: Giacomo Camposampiero, Michael Hersche, Roger Wattenhofer, Abu Sebastian, Abbas Rahimi

cs.AI

Аннотация

В данной работе представлена первая оценка двух современных моделей для выполнения сложных логических задач (Large Reasoning Models, LRM) — o3-mini от OpenAI и DeepSeek R1 — в контексте аналогического мышления, с акцентом на хорошо известные невербальные тесты IQ, основанные на прогрессивных матрицах Равена. Мы проводим тестирование на наборе данных I-RAVEN и его более сложном расширении I-RAVEN-X, которое проверяет способность к обобщению более длинных логических правил и диапазонов значений атрибутов. Чтобы оценить влияние визуальных неопределенностей на эти невербальные тесты аналогического мышления, мы расширяем набор данных I-RAVEN-X, который в исходном виде предполагает идеальное восприятие. Мы применяем двухэтапную стратегию для моделирования этого несовершенного визуального восприятия: 1) вводим мешающие атрибуты, которые, будучи случайно выбранными, не влияют на предсказание правильного ответа в головоломках, и 2) сглаживаем распределения значений входных атрибутов. Мы наблюдаем резкое снижение точности модели o3-mini от OpenAI: с 86,6% на исходном наборе I-RAVEN до всего лишь 17,0% — что близко к случайному угадыванию — на более сложном наборе I-RAVEN-X, который увеличивает длину входных данных и диапазон значений, а также имитирует перцептивную неопределенность. Это снижение произошло, несмотря на использование в 3,4 раза большего количества токенов для рассуждений. Аналогичная тенденция наблюдается и для DeepSeek R1: с 80,6% до 23,2%. С другой стороны, нейро-символическая вероятностная абдуктивная модель ARLC, которая демонстрирует наилучшие результаты на I-RAVEN, способна устойчиво рассуждать во всех этих тестах за пределами распределения, сохраняя высокую точность с умеренным снижением с 98,6% до 88,0%. Наш код доступен по адресу https://github.com/IBM/raven-large-language-models.

English

This work presents a first evaluation of two state-of-the-art Large Reasoning Models (LRMs), OpenAI's o3-mini and DeepSeek R1, on analogical reasoning, focusing on well-established nonverbal human IQ tests based on Raven's progressive matrices. We benchmark with the I-RAVEN dataset and its more difficult extension, I-RAVEN-X, which tests the ability to generalize to longer reasoning rules and ranges of the attribute values. To assess the influence of visual uncertainties on these nonverbal analogical reasoning tests, we extend the I-RAVEN-X dataset, which otherwise assumes an oracle perception. We adopt a two-fold strategy to simulate this imperfect visual perception: 1) we introduce confounding attributes which, being sampled at random, do not contribute to the prediction of the correct answer of the puzzles and 2) smoothen the distributions of the input attributes' values. We observe a sharp decline in OpenAI's o3-mini task accuracy, dropping from 86.6% on the original I-RAVEN to just 17.0% -- approaching random chance -- on the more challenging I-RAVEN-X, which increases input length and range and emulates perceptual uncertainty. This drop occurred despite spending 3.4x more reasoning tokens. A similar trend is also observed for DeepSeek R1: from 80.6% to 23.2%. On the other hand, a neuro-symbolic probabilistic abductive model, ARLC, that achieves state-of-the-art performances on I-RAVEN, can robustly reason under all these out-of-distribution tests, maintaining strong accuracy with only a modest reduction from 98.6% to 88.0%. Our code is available at https://github.com/IBM/raven-large-language-models.