Kunnen grote redeneermodellen analogisch redeneren onder perceptuele onzekerheid?

Can Large Reasoning Models do Analogical Reasoning under Perceptual Uncertainty?

March 14, 2025

Auteurs: Giacomo Camposampiero, Michael Hersche, Roger Wattenhofer, Abu Sebastian, Abbas Rahimi

cs.AI

Samenvatting

Dit werk presenteert een eerste evaluatie van twee state-of-the-art Large Reasoning Models (LRMs), OpenAI's o3-mini en DeepSeek R1, op het gebied van analogisch redeneren, met een focus op goed gevestigde non-verbale menselijke IQ-tests gebaseerd op Raven's progressieve matrices. We benchmarken met de I-RAVEN dataset en de moeilijkere uitbreiding daarvan, I-RAVEN-X, die het vermogen test om te generaliseren naar langere redeneerregels en bereiken van attribuutwaarden. Om de invloed van visuele onzekerheden op deze non-verbale analogische redeneertests te beoordelen, breiden we de I-RAVEN-X dataset uit, die anders uitgaat van een orakelperceptie. We hanteren een tweeledige strategie om deze onvolmaakte visuele perceptie te simuleren: 1) we introduceren verstorende attributen die, willekeurig bemonsterd, niet bijdragen aan de voorspelling van het juiste antwoord van de puzzels en 2) we verzachten de verdelingen van de waarden van de invoerattributen. We observeren een scherpe daling in de taaknauwkeurigheid van OpenAI's o3-mini, die daalt van 86,6% op de originele I-RAVEN naar slechts 17,0% – wat dicht bij willekeurige kans ligt – op de uitdagendere I-RAVEN-X, die de invoerlengte en het bereik vergroot en perceptuele onzekerheid nabootst. Deze daling trad op ondanks het gebruik van 3,4x meer redeneertokens. Een vergelijkbare trend wordt ook waargenomen voor DeepSeek R1: van 80,6% naar 23,2%. Aan de andere kant kan een neuro-symbolisch probabilistisch abductief model, ARLC, dat state-of-the-art prestaties behaalt op I-RAVEN, robuust redeneren onder al deze out-of-distribution tests, waarbij het een sterke nauwkeurigheid behoudt met slechts een bescheiden reductie van 98,6% naar 88,0%. Onze code is beschikbaar op https://github.com/IBM/raven-large-language-models.

English

This work presents a first evaluation of two state-of-the-art Large Reasoning Models (LRMs), OpenAI's o3-mini and DeepSeek R1, on analogical reasoning, focusing on well-established nonverbal human IQ tests based on Raven's progressive matrices. We benchmark with the I-RAVEN dataset and its more difficult extension, I-RAVEN-X, which tests the ability to generalize to longer reasoning rules and ranges of the attribute values. To assess the influence of visual uncertainties on these nonverbal analogical reasoning tests, we extend the I-RAVEN-X dataset, which otherwise assumes an oracle perception. We adopt a two-fold strategy to simulate this imperfect visual perception: 1) we introduce confounding attributes which, being sampled at random, do not contribute to the prediction of the correct answer of the puzzles and 2) smoothen the distributions of the input attributes' values. We observe a sharp decline in OpenAI's o3-mini task accuracy, dropping from 86.6% on the original I-RAVEN to just 17.0% -- approaching random chance -- on the more challenging I-RAVEN-X, which increases input length and range and emulates perceptual uncertainty. This drop occurred despite spending 3.4x more reasoning tokens. A similar trend is also observed for DeepSeek R1: from 80.6% to 23.2%. On the other hand, a neuro-symbolic probabilistic abductive model, ARLC, that achieves state-of-the-art performances on I-RAVEN, can robustly reason under all these out-of-distribution tests, maintaining strong accuracy with only a modest reduction from 98.6% to 88.0%. Our code is available at https://github.com/IBM/raven-large-language-models.