Les paradigmes de raisonnement fondamentaux induisent une généralisation hors domaine dans les modèles de langage

Fundamental Reasoning Paradigms Induce Out-of-Domain Generalization in Language Models

February 9, 2026

papers.authors: Mingzi Cao, Xingwei Tan, Mahmud Akhter, Marco Valentino, Maria Liakata, Xi Wang, Nikolaos Aletras

cs.AI

papers.abstract

La déduction, l'induction et l'abduction sont des paradigmes fondamentaux du raisonnement, au cœur de la pensée logique humaine. Bien que l'amélioration du raisonnement des grands modèles de langage (LLM) ait suscité d'importants efforts de recherche, la mesure dans laquelle ces paradigmes fondamentaux induisent une généralisation n'a pas encore été systématiquement explorée. Dans cette étude, nous examinons comment l'interaction entre ces paradigmes fondamentaux influence le comportement raisonneur des LLM. Pour ce faire, nous collectons d'abord un nouveau jeu de données de trajectoires de raisonnement issues de tâches symboliques, chacune ciblant l'un des trois paradigmes fondamentaux, afin de s'abstraire des connaissances concrètes du monde. Ensuite, nous étudions des moyens efficaces d'induire ces compétences dans les LLM. Nous expérimentons une série de méthodes incluant le fine-tuning simple et des approches plus complexes pour augmenter la profondeur du modèle ou transformer un modèle dense en un mixture-of-experts. Nous évaluons de manière exhaustive les modèles induits sur des tâches réalistes hors domaine, entièrement formulées en langage naturel et contenant des connaissances du monde réel. Nos résultats révèlent que notre approche confère une forte capacité de généralisation avec des gains de performance substantiels (jusqu'à 14,60) sur les tâches réalistes.

English

Deduction, induction, and abduction are fundamental reasoning paradigms, core for human logical thinking. Although improving Large Language Model (LLM) reasoning has attracted significant research efforts, the extent to which the fundamental paradigms induce generalization has yet to be systematically explored. In this study, we shed light on how the interplay between these core paradigms influences LLMs' reasoning behavior. To this end, we first collect a new dataset of reasoning trajectories from symbolic tasks, each targeting one of the three fundamental paradigms, to abstract from concrete world knowledge. Then, we investigate effective ways for inducing these skills into LLMs. We experiment with a battery of methods including simple fine-tuning, and more complex approaches to increase model depth, or transform a dense model to a mixture-of-experts. We comprehensively evaluate induced models on realistic out-of-domain tasks, that are entirely formulated in natural language and contain real-world knowledge. Our results reveal that our approach yields strong generalizability with substantial performance gains (up to 14.60) across realistic tasks.