Het Vreemde Geval van Analogieën: Onderzoek naar Analoog Redeneren bij Grote Taalmodellen

The Curious Case of Analogies: Investigating Analogical Reasoning in Large Language Models

November 25, 2025

Auteurs: Taewhoo Lee, Minju Song, Chanwoong Yoon, Jungwoo Park, Jaewoo Kang

cs.AI

Samenvatting

Analogieën vormen de kern van het menselijk denken en zijn een belangrijke basis voor diverse intellectuele activiteiten. Hoewel eerder onderzoek heeft aangetoond dat grote taalmodelen (LLM's) taakpatronen en oppervlakkige concepten kunnen weergeven, is het nog onduidelijk of deze modellen hoogwaardige relationele concepten kunnen coderen en via gestructureerde vergelijkingen toepassen op nieuwe situaties. In dit werk onderzoeken we dit fundamentele aspect met behulp van proportionele en verhaalkundige analogieën, en identificeren we drie belangrijke bevindingen. Ten eerste coderen LLM's effectief de onderliggende relaties tussen analoge entiteiten; zowel attributieve als relationele informatie verspreidt zich door de midden- tot bovenste lagen bij correcte gevallen, terwijl denkfouten het ontbreken van relationele informatie in deze lagen weerspiegelen. Ten tweede hebben LLM's, anders dan mensen, vaak niet alleen moeite wanneer relationele informatie ontbreekt, maar ook bij pogingen deze toe te passen op nieuwe entiteiten. In dergelijke gevallen kan het strategisch bijwerken van verborgen representaties op cruciale tokenposities de informatieoverdracht tot op zekere hoogte vergemakkelijken. Tot slot wordt succesvolle analogische redenering in LLM's gekenmerkt door een sterke structurele afstemming tussen analoge situaties, terwijl mislukkingen vaak een verslechterde of verkeerde afstemming weerspiegelen. Over het geheel genomen tonen onze bevindingen aan dat LLM's opkomende maar beperkte capaciteiten vertonen in het coderen en toepassen van hoogwaardige relationele concepten, wat zowel parallellen als hiaten met de menselijke cognitie benadrukt.

English

Analogical reasoning is at the core of human cognition, serving as an important foundation for a variety of intellectual activities. While prior work has shown that LLMs can represent task patterns and surface-level concepts, it remains unclear whether these models can encode high-level relational concepts and apply them to novel situations through structured comparisons. In this work, we explore this fundamental aspect using proportional and story analogies, and identify three key findings. First, LLMs effectively encode the underlying relationships between analogous entities; both attributive and relational information propagate through mid-upper layers in correct cases, whereas reasoning failures reflect missing relational information within these layers. Second, unlike humans, LLMs often struggle not only when relational information is missing, but also when attempting to apply it to new entities. In such cases, strategically patching hidden representations at critical token positions can facilitate information transfer to a certain extent. Lastly, successful analogical reasoning in LLMs is marked by strong structural alignment between analogous situations, whereas failures often reflect degraded or misplaced alignment. Overall, our findings reveal that LLMs exhibit emerging but limited capabilities in encoding and applying high-level relational concepts, highlighting both parallels and gaps with human cognition.