LLM의 삼단논법 추론 이해: 형식 논리와 자연어 관점에서

초록

우리는 LLM의 삼단논법 추론 능력을 논리적 및 자연어 관점에서 연구한다. 이 과정에서 LLM의 기본적인 추론 능력과 이 연구가 나아가는 방향을 탐구한다. 연구를 지원하기 위해 14개의 대규모 언어 모델을 사용하며, 이들의 삼단논법 추론 능력을 기호론적 추론과 자연어 이해 측면에서 조사한다. 이러한 추론 메커니즘이 모든 LLM에서 균일하게 나타나는 속성은 아니지만, 특정 모델에서 보여준 완벽한 기호론적 성능은 LLM이 인간 추론의 미묘한 차이를 구현하기보다 점점 더 형식적인 추론 메커니즘으로 진화하고 있는 것은 아닌지 의문을 제기한다.

English

We study syllogistic reasoning in LLMs from the logical and natural language perspectives. In process, we explore fundamental reasoning capabilities of the LLMs and the direction this research is moving forward. To aid in our studies, we use 14 large language models and investigate their syllogistic reasoning capabilities in terms of symbolic inferences as well as natural language understanding. Even though this reasoning mechanism is not a uniform emergent property across LLMs, the perfect symbolic performances in certain models make us wonder whether LLMs are becoming more and more formal reasoning mechanisms, rather than making explicit the nuances of human reasoning.

LLM의 삼단논법 추론 이해: 형식 논리와 자연어 관점에서

Understanding Syllogistic Reasoning in LLMs from Formal and Natural Language Perspectives

초록

Support