Comprendere il Ragionamento Sillogistico nei LLM dalle Prospettive del Linguaggio Formale e Naturale

Understanding Syllogistic Reasoning in LLMs from Formal and Natural Language Perspectives

December 14, 2025

Autori: Aheli Poddar, Saptarshi Sahoo, Sujata Ghosh

cs.AI

Abstract

Studiamo il ragionamento sillogistico nei LLM dalle prospettive logica e del linguaggio naturale. Nel processo, esploriamo le capacità di ragionamento fondamentali dei LLM e la direzione in cui questa ricerca si sta evolvendo. A supporto dei nostri studi, utilizziamo 14 grandi modelli linguistici e ne investigiamo le capacità di ragionamento sillogistico in termini di inferenze simboliche e di comprensione del linguaggio naturale. Sebbene questo meccanismo di ragionamento non sia una proprietà emergente uniforme tra tutti i LLM, le prestazioni simboliche perfette in alcuni modelli ci portano a chiederci se i LLM stiano diventando meccanismi di ragionamento sempre più formali, piuttosto che esplicitare le sfumature del ragionamento umano.

English

We study syllogistic reasoning in LLMs from the logical and natural language perspectives. In process, we explore fundamental reasoning capabilities of the LLMs and the direction this research is moving forward. To aid in our studies, we use 14 large language models and investigate their syllogistic reasoning capabilities in terms of symbolic inferences as well as natural language understanding. Even though this reasoning mechanism is not a uniform emergent property across LLMs, the perfect symbolic performances in certain models make us wonder whether LLMs are becoming more and more formal reasoning mechanisms, rather than making explicit the nuances of human reasoning.