Paradigmas Fundamentais de Raciocínio Induzem Generalização Fora do Domínio em Modelos de Linguagem

Fundamental Reasoning Paradigms Induce Out-of-Domain Generalization in Language Models

February 9, 2026

Autores: Mingzi Cao, Xingwei Tan, Mahmud Akhter, Marco Valentino, Maria Liakata, Xi Wang, Nikolaos Aletras

cs.AI

Resumo

Dedução, indução e abdução são paradigmas fundamentais de raciocínio, essenciais para o pensamento lógico humano. Embora a melhoria do raciocínio de Modelos de Linguagem de Grande Porte (LLMs) tenha atraído esforços significativos de pesquisa, o grau em que os paradigmas fundamentais induzem à generalização ainda não foi sistematicamente explorado. Neste estudo, elucidamos como a interação entre esses paradigmas centrais influencia o comportamento de raciocínio dos LLMs. Para tanto, primeiro coletamos um novo conjunto de dados de trajetórias de raciocínio a partir de tarefas simbólicas, cada uma focada em um dos três paradigmas fundamentais, para abstrair do conhecimento concreto do mundo. Em seguida, investigamos maneiras eficazes de induzir essas habilidades nos LLMs. Experimentamos com uma bateria de métodos, incluindo fine-tuning simples e abordagens mais complexas para aumentar a profundidade do modelo ou transformar um modelo denso em uma mistura de especialistas. Avaliamos comprehensivemente os modelos induzidos em tarefas realistas fora do domínio, que são inteiramente formuladas em linguagem natural e contêm conhecimento do mundo real. Nossos resultados revelam que nossa abordagem produz uma forte generalizabilidade com ganhos substanciais de desempenho (até 14,60) em tarefas realistas.

English

Deduction, induction, and abduction are fundamental reasoning paradigms, core for human logical thinking. Although improving Large Language Model (LLM) reasoning has attracted significant research efforts, the extent to which the fundamental paradigms induce generalization has yet to be systematically explored. In this study, we shed light on how the interplay between these core paradigms influences LLMs' reasoning behavior. To this end, we first collect a new dataset of reasoning trajectories from symbolic tasks, each targeting one of the three fundamental paradigms, to abstract from concrete world knowledge. Then, we investigate effective ways for inducing these skills into LLMs. We experiment with a battery of methods including simple fine-tuning, and more complex approaches to increase model depth, or transform a dense model to a mixture-of-experts. We comprehensively evaluate induced models on realistic out-of-domain tasks, that are entirely formulated in natural language and contain real-world knowledge. Our results reveal that our approach yields strong generalizability with substantial performance gains (up to 14.60) across realistic tasks.