I paradigmi fondamentali del ragionamento inducono una generalizzazione fuori dominio nei modelli linguistici

Fundamental Reasoning Paradigms Induce Out-of-Domain Generalization in Language Models

February 9, 2026

Autori: Mingzi Cao, Xingwei Tan, Mahmud Akhter, Marco Valentino, Maria Liakata, Xi Wang, Nikolaos Aletras

cs.AI

Abstract

Deduzione, induzione e abduzione sono paradigmi fondamentali del ragionamento, essenziali per il pensiero logico umano. Sebbene il potenziamento delle capacità di ragionamento dei Large Language Model (LLM) abbia attirato notevoli sforzi di ricerca, la misura in cui i paradigmi fondamentali inducano una generalizzazione non è stata ancora esplorata sistematicamente. In questo studio, chiariamo come l'interazione tra questi paradigmi fondamentali influenzi il comportamento ragionativo degli LLM. A tal fine, raccogliamo innanzitutto un nuovo dataset di traiettorie di ragionamento derivanti da compiti simbolici, ciascuno mirato a uno dei tre paradigmi fondamentali, per astrarre dalla conoscenza concreta del mondo. Successivamente, indaghiamo metodi efficaci per indurre queste competenze negli LLM. Sperimentiamo una serie di approcci, tra cui il semplice fine-tuning e metodi più complessi per aumentare la profondità del modello o trasformare un modello denso in un mixture-of-experts. Valutiamo in modo esaustivo i modelli indotti su compiti realistici fuori dominio, interamente formulati in linguaggio naturale e contenenti conoscenze del mondo reale. I nostri risultati rivelano che il nostro approccio produce una forte generalizzabilità con guadagni prestazionali sostanziali (fino al 14,60) attraverso i compiti realistici.

English

Deduction, induction, and abduction are fundamental reasoning paradigms, core for human logical thinking. Although improving Large Language Model (LLM) reasoning has attracted significant research efforts, the extent to which the fundamental paradigms induce generalization has yet to be systematically explored. In this study, we shed light on how the interplay between these core paradigms influences LLMs' reasoning behavior. To this end, we first collect a new dataset of reasoning trajectories from symbolic tasks, each targeting one of the three fundamental paradigms, to abstract from concrete world knowledge. Then, we investigate effective ways for inducing these skills into LLMs. We experiment with a battery of methods including simple fine-tuning, and more complex approaches to increase model depth, or transform a dense model to a mixture-of-experts. We comprehensively evaluate induced models on realistic out-of-domain tasks, that are entirely formulated in natural language and contain real-world knowledge. Our results reveal that our approach yields strong generalizability with substantial performance gains (up to 14.60) across realistic tasks.