Los Paradigmas Fundamentales de Razonamiento Inducen Generalización Fuera del Dominio en Modelos de Lenguaje

Fundamental Reasoning Paradigms Induce Out-of-Domain Generalization in Language Models

February 9, 2026

Autores: Mingzi Cao, Xingwei Tan, Mahmud Akhter, Marco Valentino, Maria Liakata, Xi Wang, Nikolaos Aletras

cs.AI

Resumen

La deducción, la inducción y la abducción son paradigmas fundamentales de razonamiento, esenciales para el pensamiento lógico humano. Aunque la mejora del razonamiento en los Modelos de Lenguaje a Gran Escala (LLM) ha atraído importantes esfuerzos de investigación, aún no se ha explorado sistemáticamente hasta qué punto estos paradigmas fundamentales inducen generalización. En este estudio, elucidamos cómo la interacción entre estos paradigmas centrales influye en el comportamiento razonador de los LLM. Para ello, primero recopilamos un nuevo conjunto de datos de trayectorias de razonamiento a partir de tareas simbólicas, cada una enfocada en uno de los tres paradigmas fundamentales, para abstraer del conocimiento concreto del mundo. Luego, investigamos formas efectivas de inducir estas habilidades en los LLM. Experimentamos con una batería de métodos que incluyen el fine-tuning simple y enfoques más complejos para aumentar la profundidad del modelo o transformar un modelo denso en una mezcla de expertos. Evaluamos exhaustivamente los modelos inducidos en tareas realistas fuera de dominio, formuladas completamente en lenguaje natural y que contienen conocimiento del mundo real. Nuestros resultados revelan que nuestro enfoque produce una fuerte generalizabilidad con ganancias sustanciales de rendimiento (hasta 14.60) en tareas realistas.

English

Deduction, induction, and abduction are fundamental reasoning paradigms, core for human logical thinking. Although improving Large Language Model (LLM) reasoning has attracted significant research efforts, the extent to which the fundamental paradigms induce generalization has yet to be systematically explored. In this study, we shed light on how the interplay between these core paradigms influences LLMs' reasoning behavior. To this end, we first collect a new dataset of reasoning trajectories from symbolic tasks, each targeting one of the three fundamental paradigms, to abstract from concrete world knowledge. Then, we investigate effective ways for inducing these skills into LLMs. We experiment with a battery of methods including simple fine-tuning, and more complex approaches to increase model depth, or transform a dense model to a mixture-of-experts. We comprehensively evaluate induced models on realistic out-of-domain tasks, that are entirely formulated in natural language and contain real-world knowledge. Our results reveal that our approach yields strong generalizability with substantial performance gains (up to 14.60) across realistic tasks.