Загадочный случай аналогий: исследование аналогических рассуждений в больших языковых моделях

The Curious Case of Analogies: Investigating Analogical Reasoning in Large Language Models

November 25, 2025

Авторы: Taewhoo Lee, Minju Song, Chanwoong Yoon, Jungwoo Park, Jaewoo Kang

cs.AI

Аннотация

Аналогическое рассуждение лежит в основе человеческого познания, служа важным фундаментом для различных интеллектуальных деятельностей. Хотя предыдущие исследования показали, что большие языковые модели (LLM) способны представлять паттерны задач и поверхностные концепции, остаётся неясным, могут ли эти модели кодировать реляционные концепции высокого уровня и применять их к новым ситуациям через структурированные сравнения. В данной работе мы исследуем этот фундаментальный аспект, используя пропорциональные и сюжетные аналогии, и выявляем три ключевых результата. Во-первых, LLM эффективно кодируют базовые отношения между аналогичными сущностями: как атрибутивная, так и реляционная информация распространяется через средние и верхние слои в правильных случаях, тогда как ошибки рассуждения отражают отсутствие реляционной информации в этих слоях. Во-вторых, в отличие от людей, LLM часто испытывают трудности не только при отсутствии реляционной информации, но и при попытке применить её к новым сущностям. В таких случаях стратегическое исправление скрытых представлений в критических позициях токенов может в определённой степени облегчить передачу информации. Наконец, успешное аналогическое рассуждение в LLM характеризуется сильным структурным выравниванием между аналогичными ситуациями, тогда как неудачи часто отражают деградировавшее или смещённое выравнивание. В целом наши результаты показывают, что LLM демонстрируют формирующиеся, но ограниченные способности в кодировании и применении реляционных концепций высокого уровня, подчёркивая как сходства, так и разрывы с человеческим познанием.

English

Analogical reasoning is at the core of human cognition, serving as an important foundation for a variety of intellectual activities. While prior work has shown that LLMs can represent task patterns and surface-level concepts, it remains unclear whether these models can encode high-level relational concepts and apply them to novel situations through structured comparisons. In this work, we explore this fundamental aspect using proportional and story analogies, and identify three key findings. First, LLMs effectively encode the underlying relationships between analogous entities; both attributive and relational information propagate through mid-upper layers in correct cases, whereas reasoning failures reflect missing relational information within these layers. Second, unlike humans, LLMs often struggle not only when relational information is missing, but also when attempting to apply it to new entities. In such cases, strategically patching hidden representations at critical token positions can facilitate information transfer to a certain extent. Lastly, successful analogical reasoning in LLMs is marked by strong structural alignment between analogous situations, whereas failures often reflect degraded or misplaced alignment. Overall, our findings reveal that LLMs exhibit emerging but limited capabilities in encoding and applying high-level relational concepts, highlighting both parallels and gaps with human cognition.