El Curioso Caso de las Analogías: Investigación del Razonamiento Analógico en Modelos de Lenguaje a Gran Escala

The Curious Case of Analogies: Investigating Analogical Reasoning in Large Language Models

November 25, 2025

Autores: Taewhoo Lee, Minju Song, Chanwoong Yoon, Jungwoo Park, Jaewoo Kang

cs.AI

Resumen

El razonamiento analógico es fundamental en la cognición humana, constituyendo una base importante para diversas actividades intelectuales. Si bien trabajos previos han demostrado que los LLM pueden representar patrones de tareas y conceptos superficiales, aún no está claro si estos modelos pueden codificar conceptos relacionales de alto nivel y aplicarlos a situaciones novedosas mediante comparaciones estructuradas. En este trabajo, exploramos este aspecto fundamental utilizando analogías proporcionales y narrativas, e identificamos tres hallazgos clave. Primero, los LLM codifican efectivamente las relaciones subyacentes entre entidades análogas; tanto la información atributiva como la relacional se propagan a través de las capas medias-altas en los casos correctos, mientras que los fallos de razonamiento reflejan la ausencia de información relacional en estas capas. Segundo, a diferencia de los humanos, los LLM a menudo tienen dificultades no solo cuando falta información relacional, sino también al intentar aplicarla a nuevas entidades. En tales casos, la aplicación estratégica de parches en las representaciones ocultas en posiciones críticas de tokens puede facilitar la transferencia de información hasta cierto punto. Por último, el razonamiento analógico exitoso en los LLM se caracteriza por una fuerte alineación estructural entre situaciones análogas, mientras que los fallos suelen reflejar una alineación degradada o desplazada. En general, nuestros hallazgos revelan que los LLM exhiben capacidades emergentes pero limitadas para codificar y aplicar conceptos relacionales de alto nivel, destacando tanto paralelismos como brechas con la cognición humana.

English

Analogical reasoning is at the core of human cognition, serving as an important foundation for a variety of intellectual activities. While prior work has shown that LLMs can represent task patterns and surface-level concepts, it remains unclear whether these models can encode high-level relational concepts and apply them to novel situations through structured comparisons. In this work, we explore this fundamental aspect using proportional and story analogies, and identify three key findings. First, LLMs effectively encode the underlying relationships between analogous entities; both attributive and relational information propagate through mid-upper layers in correct cases, whereas reasoning failures reflect missing relational information within these layers. Second, unlike humans, LLMs often struggle not only when relational information is missing, but also when attempting to apply it to new entities. In such cases, strategically patching hidden representations at critical token positions can facilitate information transfer to a certain extent. Lastly, successful analogical reasoning in LLMs is marked by strong structural alignment between analogous situations, whereas failures often reflect degraded or misplaced alignment. Overall, our findings reveal that LLMs exhibit emerging but limited capabilities in encoding and applying high-level relational concepts, highlighting both parallels and gaps with human cognition.