유사성의 신비: 대규모 언어 모델의 유사 추론 능력 탐구

The Curious Case of Analogies: Investigating Analogical Reasoning in Large Language Models

November 25, 2025

저자: Taewhoo Lee, Minju Song, Chanwoong Yoon, Jungwoo Park, Jaewoo Kang

cs.AI

초록

유비추론은 인간 인지의 핵심에 위치하며, 다양한 지적 활동의 중요한 기초를 제공합니다. 선행 연구에서 대규모 언어 모델이 작업 패턴과 표층적 개념을 표현할 수 있음이 입증되었으나, 이러한 모델이 고수준 관계 개념을 인코딩하고 구조화된 비교를 통해 새로운 상황에 적용할 수 있는지 여부는 여전히 불분명합니다. 본 연구에서는 비례 유추와 이야기 유추를 통해 이 근본적인 측면을 탐구하며 세 가지 핵심 발견을 도출했습니다. 첫째, LLM은 유사 개체 간의 내재적 관계를 효과적으로 인코딩합니다. 정답 사례에서는 속성 정보와 관계 정보가 중상위 계층을 통해 전파되는 반면, 추론 실패는 해당 계층 내 관계 정보의 결여를 반영합니다. 둘째, 인간과 달리 LLM은 관계 정보가 부족한 경우뿐만 아니라 새로운 개체에 이를 적용하려 할 때도 종종 어려움을 겪습니다. 이러한 경우 주요 토큰 위치에서 은닉 표현을 전략적으로 수정하면 정보 전달을 어느 정도 촉진할 수 있습니다. 마지막으로, LLM의 성공적인 유비추론은 유사 상황 간 강력한 구조적 정렬로 특징지어지는 반면, 실패 사례에서는 정렬의 약화나 왜곡이 나타납니다. 종합적으로 우리의 연구 결과는 LLM이 고수준 관계 개념을 인코딩하고 적용하는 데 있어 나타나지만 제한적인 능력을 보여주며, 인간 인지와의 유사점과 격차를 동시에 부각시킵니다.

English

Analogical reasoning is at the core of human cognition, serving as an important foundation for a variety of intellectual activities. While prior work has shown that LLMs can represent task patterns and surface-level concepts, it remains unclear whether these models can encode high-level relational concepts and apply them to novel situations through structured comparisons. In this work, we explore this fundamental aspect using proportional and story analogies, and identify three key findings. First, LLMs effectively encode the underlying relationships between analogous entities; both attributive and relational information propagate through mid-upper layers in correct cases, whereas reasoning failures reflect missing relational information within these layers. Second, unlike humans, LLMs often struggle not only when relational information is missing, but also when attempting to apply it to new entities. In such cases, strategically patching hidden representations at critical token positions can facilitate information transfer to a certain extent. Lastly, successful analogical reasoning in LLMs is marked by strong structural alignment between analogous situations, whereas failures often reflect degraded or misplaced alignment. Overall, our findings reveal that LLMs exhibit emerging but limited capabilities in encoding and applying high-level relational concepts, highlighting both parallels and gaps with human cognition.