Le cas curieux des analogies : enquête sur le raisonnement analogique dans les grands modèles de langage

The Curious Case of Analogies: Investigating Analogical Reasoning in Large Language Models

November 25, 2025

papers.authors: Taewhoo Lee, Minju Song, Chanwoong Yoon, Jungwoo Park, Jaewoo Kang

cs.AI

papers.abstract

Le raisonnement analogique est au cœur de la cognition humaine, constituant un fondement important pour diverses activités intellectuelles. Si les travaux antérieurs ont montré que les grands modèles de langage peuvent représenter des schémas de tâches et des concepts de surface, on ignore encore si ces modèles peuvent encoder des concepts relationnels de haut niveau et les appliquer à des situations nouvelles via des comparaisons structurées. Dans cette étude, nous explorons cet aspect fondamental à l'aide d'analogies proportionnelles et narratives, et identifions trois résultats clés. Premièrement, les LLM encodent efficacement les relations sous-jacentes entre entités analogues ; les informations attributionnelles et relationnelles se propagent à travers les couches médianes-supérieures dans les cas corrects, tandis que les échecs de raisonnement reflètent l'absence d'information relationnelle dans ces couches. Deuxièmement, contrairement aux humains, les LLM éprouvent souvent des difficultés non seulement lorsque l'information relationnelle est absente, mais aussi lorsqu'ils tentent de l'appliquer à de nouvelles entités. Dans de tels cas, la correction stratégique des représentations cachées aux positions token critiques peut faciliter le transfert d'information dans une certaine mesure. Enfin, un raisonnement analogique réussi chez les LLM se caractérise par un fort alignement structurel entre situations analogues, tandis que les échecs reflètent souvent un alignement dégradé ou inadéquat. Globalement, nos résultats révèlent que les LLM présentent des capacités émergentes mais limitées dans l'encodage et l'application de concepts relationnels de haut niveau, mettant en lumière à la fois des parallèles et des écarts avec la cognition humaine.

English

Analogical reasoning is at the core of human cognition, serving as an important foundation for a variety of intellectual activities. While prior work has shown that LLMs can represent task patterns and surface-level concepts, it remains unclear whether these models can encode high-level relational concepts and apply them to novel situations through structured comparisons. In this work, we explore this fundamental aspect using proportional and story analogies, and identify three key findings. First, LLMs effectively encode the underlying relationships between analogous entities; both attributive and relational information propagate through mid-upper layers in correct cases, whereas reasoning failures reflect missing relational information within these layers. Second, unlike humans, LLMs often struggle not only when relational information is missing, but also when attempting to apply it to new entities. In such cases, strategically patching hidden representations at critical token positions can facilitate information transfer to a certain extent. Lastly, successful analogical reasoning in LLMs is marked by strong structural alignment between analogous situations, whereas failures often reflect degraded or misplaced alignment. Overall, our findings reveal that LLMs exhibit emerging but limited capabilities in encoding and applying high-level relational concepts, highlighting both parallels and gaps with human cognition.