Фундаментальные парадигмы рассуждений индуцируют межпредметную обобщающую способность в языковых моделях

Fundamental Reasoning Paradigms Induce Out-of-Domain Generalization in Language Models

February 9, 2026

Авторы: Mingzi Cao, Xingwei Tan, Mahmud Akhter, Marco Valentino, Maria Liakata, Xi Wang, Nikolaos Aletras

cs.AI

Аннотация

Дедукция, индукция и абдукция являются фундаментальными парадигмами рассуждений, лежащими в основе человеческого логического мышления. Хотя повышение способности к рассуждениям у больших языковых моделей (LLM) привлекает значительные исследовательские усилия, степень, в которой базовые парадигмы обеспечивают обобщение, еще не была систематически изучена. В данном исследовании мы раскрываем, как взаимодействие между этими ключевыми парадигмами влияет на поведение LLM при рассуждениях. Для этого мы сначала собираем новый набор данных траекторий рассуждений из символьных задач, каждая из которых направлена на одну из трех фундаментальных парадигм, чтобы абстрагироваться от конкретных знаний о мире. Затем мы исследуем эффективные способы внедрения этих навыков в LLM. Мы экспериментируем с рядом методов, включая простое тонкое настройку и более сложные подходы, такие как увеличение глубины модели или преобразование плотной модели в модель смеси экспертов. Мы всесторонне оцениваем обученные модели на реалистичных задачах из других областей, которые полностью сформулированы на естественном языке и содержат знания о реальном мире. Наши результаты показывают, что наш подход обеспечивает высокую обобщающую способность со значительным приростом производительности (до 14.60) на реалистичных задачах.

English

Deduction, induction, and abduction are fundamental reasoning paradigms, core for human logical thinking. Although improving Large Language Model (LLM) reasoning has attracted significant research efforts, the extent to which the fundamental paradigms induce generalization has yet to be systematically explored. In this study, we shed light on how the interplay between these core paradigms influences LLMs' reasoning behavior. To this end, we first collect a new dataset of reasoning trajectories from symbolic tasks, each targeting one of the three fundamental paradigms, to abstract from concrete world knowledge. Then, we investigate effective ways for inducing these skills into LLMs. We experiment with a battery of methods including simple fine-tuning, and more complex approaches to increase model depth, or transform a dense model to a mixture-of-experts. We comprehensively evaluate induced models on realistic out-of-domain tasks, that are entirely formulated in natural language and contain real-world knowledge. Our results reveal that our approach yields strong generalizability with substantial performance gains (up to 14.60) across realistic tasks.