Grundlegende Denkparadigmen induzieren domänenübergreifende Generalisierung in Sprachmodellen
Fundamental Reasoning Paradigms Induce Out-of-Domain Generalization in Language Models
February 9, 2026
papers.authors: Mingzi Cao, Xingwei Tan, Mahmud Akhter, Marco Valentino, Maria Liakata, Xi Wang, Nikolaos Aletras
cs.AI
papers.abstract
Deduktion, Induktion und Abduktion sind grundlegende Denkparadigmen und zentral für das menschliche logische Denken. Obwohl die Verbesserung des logischen Denkens von Large Language Models (LLMs) bedeutende Forschungsanstrengungen angezogen hat, ist das Ausmaß, in dem diese grundlegenden Paradigmen Generalisierung bewirken, noch nicht systematisch erforscht worden. In dieser Studie beleuchten wir, wie das Zusammenspiel zwischen diesen Kernparadigmen das Denkverhalten von LLMs beeinflusst. Zu diesem Zweck sammeln wir zunächst einen neuen Datensatz von Denkpfaden aus symbolischen Aufgaben, die jeweils eines der drei grundlegenden Paradigmen adressieren, um von konkretem Weltwissen zu abstrahieren. Anschließend untersuchen wir wirksame Methoden, um diese Fähigkeiten in LLMs zu induzieren. Wir experimentieren mit einer Reihe von Methoden, darunter einfaches Fine-Tuning und komplexere Ansätze, um die Modelltiefe zu erhöhen oder ein dichtes Modell in ein Mixture-of-Experts-Modell umzuwandeln. Wir evaluieren die induzierten Modelle umfassend an realistischen, domänenübergreifenden Aufgaben, die vollständig in natürlicher Sprache formuliert sind und reales Weltwissen enthalten. Unsere Ergebnisse zeigen, dass unser Ansatz eine starke Generalisierbarkeit mit erheblichen Leistungssteigerungen (bis zu 14,60) über realistische Aufgaben hinweg erzielt.
English
Deduction, induction, and abduction are fundamental reasoning paradigms, core for human logical thinking. Although improving Large Language Model (LLM) reasoning has attracted significant research efforts, the extent to which the fundamental paradigms induce generalization has yet to be systematically explored. In this study, we shed light on how the interplay between these core paradigms influences LLMs' reasoning behavior. To this end, we first collect a new dataset of reasoning trajectories from symbolic tasks, each targeting one of the three fundamental paradigms, to abstract from concrete world knowledge. Then, we investigate effective ways for inducing these skills into LLMs. We experiment with a battery of methods including simple fine-tuning, and more complex approaches to increase model depth, or transform a dense model to a mixture-of-experts. We comprehensively evaluate induced models on realistic out-of-domain tasks, that are entirely formulated in natural language and contain real-world knowledge. Our results reveal that our approach yields strong generalizability with substantial performance gains (up to 14.60) across realistic tasks.