Il caso curioso delle analogie: un'indagine sul ragionamento analogico nei grandi modelli linguistici

The Curious Case of Analogies: Investigating Analogical Reasoning in Large Language Models

November 25, 2025

Autori: Taewhoo Lee, Minju Song, Chanwoong Yoon, Jungwoo Park, Jaewoo Kang

cs.AI

Abstract

Il ragionamento analogico è al centro della cognizione umana, rappresentando un importante fondamento per varie attività intellettuali. Sebbene ricerche precedenti abbiano dimostrato che i LLM possono rappresentare pattern di compiti e concetti superficiali, rimane poco chiaro se questi modelli possano codificare concetti relazionali di alto livello e applicarli a situazioni nuove attraverso confronti strutturati. In questo lavoro, esploriamo questo aspetto fondamentale utilizzando analogie proporzionali e narrative, identificando tre risultati chiave. Primo, i LLM codificano efficacemente le relazioni sottostanti tra entità analoghe; sia le informazioni attributive che relazionali si propagano attraverso gli strati medio-alti nei casi corretti, mentre i fallimenti del ragionamento riflettono l'assenza di informazioni relazionali in questi strati. Secondo, a differenza degli umani, i LLM spesso incontrano difficoltà non solo quando mancano informazioni relazionali, ma anche quando tentano di applicarle a nuove entità. In tali casi, la correzione strategica delle rappresentazioni nascoste in posizioni token critiche può facilitare il trasferimento di informazioni in una certa misura. Infine, un ragionamento analogico di successo nei LLM è caratterizzato da un forte allineamento strutturale tra situazioni analoghe, mentre i fallimenti spesso riflettono un allineamento degradato o fuori posto. Nel complesso, i nostri risultati rivelano che i LLM mostrano capacità emergenti ma limitate nella codifica e applicazione di concetti relazionali di alto livello, evidenziando sia parallelismi che lacune rispetto alla cognizione umana.

English

Analogical reasoning is at the core of human cognition, serving as an important foundation for a variety of intellectual activities. While prior work has shown that LLMs can represent task patterns and surface-level concepts, it remains unclear whether these models can encode high-level relational concepts and apply them to novel situations through structured comparisons. In this work, we explore this fundamental aspect using proportional and story analogies, and identify three key findings. First, LLMs effectively encode the underlying relationships between analogous entities; both attributive and relational information propagate through mid-upper layers in correct cases, whereas reasoning failures reflect missing relational information within these layers. Second, unlike humans, LLMs often struggle not only when relational information is missing, but also when attempting to apply it to new entities. In such cases, strategically patching hidden representations at critical token positions can facilitate information transfer to a certain extent. Lastly, successful analogical reasoning in LLMs is marked by strong structural alignment between analogous situations, whereas failures often reflect degraded or misplaced alignment. Overall, our findings reveal that LLMs exhibit emerging but limited capabilities in encoding and applying high-level relational concepts, highlighting both parallels and gaps with human cognition.