Les grands modèles de raisonnement peuvent-ils effectuer un raisonnement analogique face à l'incertitude perceptuelle ?

Can Large Reasoning Models do Analogical Reasoning under Perceptual Uncertainty?

March 14, 2025

Auteurs: Giacomo Camposampiero, Michael Hersche, Roger Wattenhofer, Abu Sebastian, Abbas Rahimi

cs.AI

Résumé

Ce travail présente une première évaluation de deux modèles de raisonnement à grande échelle (LRM) de pointe, l'o3-mini d'OpenAI et le DeepSeek R1, sur le raisonnement analogique, en se concentrant sur des tests de QI non verbaux bien établis basés sur les matrices progressives de Raven. Nous utilisons comme référence le jeu de données I-RAVEN et son extension plus difficile, I-RAVEN-X, qui teste la capacité à généraliser à des règles de raisonnement plus longues et à des plages de valeurs d'attributs plus étendues. Pour évaluer l'influence des incertitudes visuelles sur ces tests de raisonnement analogique non verbal, nous étendons le jeu de données I-RAVEN-X, qui suppose par défaut une perception oracle. Nous adoptons une stratégie en deux volets pour simuler cette perception visuelle imparfaite : 1) nous introduisons des attributs perturbateurs qui, étant échantillonnés aléatoirement, ne contribuent pas à la prédiction de la réponse correcte des énigmes et 2) nous lissons les distributions des valeurs des attributs d'entrée. Nous observons une forte baisse de la précision de la tâche de l'o3-mini d'OpenAI, passant de 86,6 % sur l'I-RAVEN original à seulement 17,0 % — approchant le hasard — sur l'I-RAVEN-X plus difficile, qui augmente la longueur et la plage des entrées et simule l'incertitude perceptuelle. Cette baisse s'est produite malgré l'utilisation de 3,4 fois plus de tokens de raisonnement. Une tendance similaire est également observée pour le DeepSeek R1 : de 80,6 % à 23,2 %. D'autre part, un modèle neuro-symbolique probabiliste abductif, ARLC, qui atteint des performances de pointe sur I-RAVEN, peut raisonner de manière robuste dans tous ces tests hors distribution, maintenant une forte précision avec seulement une réduction modeste de 98,6 % à 88,0 %. Notre code est disponible à l'adresse https://github.com/IBM/raven-large-language-models.

English

This work presents a first evaluation of two state-of-the-art Large Reasoning Models (LRMs), OpenAI's o3-mini and DeepSeek R1, on analogical reasoning, focusing on well-established nonverbal human IQ tests based on Raven's progressive matrices. We benchmark with the I-RAVEN dataset and its more difficult extension, I-RAVEN-X, which tests the ability to generalize to longer reasoning rules and ranges of the attribute values. To assess the influence of visual uncertainties on these nonverbal analogical reasoning tests, we extend the I-RAVEN-X dataset, which otherwise assumes an oracle perception. We adopt a two-fold strategy to simulate this imperfect visual perception: 1) we introduce confounding attributes which, being sampled at random, do not contribute to the prediction of the correct answer of the puzzles and 2) smoothen the distributions of the input attributes' values. We observe a sharp decline in OpenAI's o3-mini task accuracy, dropping from 86.6% on the original I-RAVEN to just 17.0% -- approaching random chance -- on the more challenging I-RAVEN-X, which increases input length and range and emulates perceptual uncertainty. This drop occurred despite spending 3.4x more reasoning tokens. A similar trend is also observed for DeepSeek R1: from 80.6% to 23.2%. On the other hand, a neuro-symbolic probabilistic abductive model, ARLC, that achieves state-of-the-art performances on I-RAVEN, can robustly reason under all these out-of-distribution tests, maintaining strong accuracy with only a modest reduction from 98.6% to 88.0%. Our code is available at https://github.com/IBM/raven-large-language-models.