Der merkwürdige Fall der Analogien: Eine Untersuchung des analogen Denkens in großen Sprachmodellen

The Curious Case of Analogies: Investigating Analogical Reasoning in Large Language Models

November 25, 2025

papers.authors: Taewhoo Lee, Minju Song, Chanwoong Yoon, Jungwoo Park, Jaewoo Kang

cs.AI

papers.abstract

Analogiebasierte Schlussfolgerungen sind ein Kernbestandteil der menschlichen Kognition und bilden eine wichtige Grundlage für verschiedene intellektuelle Aktivitäten. Während frühere Arbeiten gezeigt haben, dass große Sprachmodelle (LLMs) Aufgabenmuster und oberflächliche Konzepte abbilden können, bleibt unklar, ob diese Modelle hochgradige relationale Konzepte kodieren und diese durch strukturierte Vergleiche auf neue Situationen anwenden können. In dieser Arbeit untersuchen wir diesen grundlegenden Aspekt anhand von Proportional- und Geschichtenanalogien und identifizieren drei zentrale Erkenntnisse. Erstens: LLMs kodieren effektiv die zugrundeliegenden Beziehungen zwischen analogen Entitäten; sowohl attributive als auch relationale Informationen verbreiten sich in korrekten Fällen durch die mittleren bis oberen Schichten, während Denkfehler auf fehlende relationale Informationen in diesen Schichten zurückzuführen sind. Zweitens: Im Gegensatz zum Menschen haben LLMs oft nicht nur dann Schwierigkeiten, wenn relationale Informationen fehlen, sondern auch, wenn sie versuchen, diese auf neue Entitäten anzuwenden. In solchen Fällen kann das strategische Anpassen versteckter Repräsentationen an kritischen Token-Positionen den Informations transfer bis zu einem gewissen Grad erleichtern. Drittens: Erfolgreiche analogische Schlussfolgerungen in LLMs sind durch eine starke strukturelle Ausrichtung zwischen analogen Situationen gekennzeichnet, während Fehler oft auf eine verschlechterte oder fehlplatzierte Ausrichtung hindeuten. Insgesamt zeigen unsere Ergebnisse, dass LLMs aufkeimende, aber begrenzte Fähigkeiten beim Kodieren und Anwenden hochgradiger relationaler Konzepte aufweisen, was sowohl Parallelen als auch Lücken zur menschlichen Kognition verdeutlicht.

English

Analogical reasoning is at the core of human cognition, serving as an important foundation for a variety of intellectual activities. While prior work has shown that LLMs can represent task patterns and surface-level concepts, it remains unclear whether these models can encode high-level relational concepts and apply them to novel situations through structured comparisons. In this work, we explore this fundamental aspect using proportional and story analogies, and identify three key findings. First, LLMs effectively encode the underlying relationships between analogous entities; both attributive and relational information propagate through mid-upper layers in correct cases, whereas reasoning failures reflect missing relational information within these layers. Second, unlike humans, LLMs often struggle not only when relational information is missing, but also when attempting to apply it to new entities. In such cases, strategically patching hidden representations at critical token positions can facilitate information transfer to a certain extent. Lastly, successful analogical reasoning in LLMs is marked by strong structural alignment between analogous situations, whereas failures often reflect degraded or misplaced alignment. Overall, our findings reveal that LLMs exhibit emerging but limited capabilities in encoding and applying high-level relational concepts, highlighting both parallels and gaps with human cognition.