Apprendimento del Ragionamento tramite Miscela-di-Pensiero per il Ragionamento Logico

Learning to Reason via Mixture-of-Thought for Logical Reasoning

May 21, 2025

Autori: Tong Zheng, Lichang Chen, Simeng Han, R. Thomas McCoy, Heng Huang

cs.AI

Abstract

Gli esseri umani utilizzano naturalmente molteplici modalità di ragionamento per apprendere e risolvere problemi logici, ovvero diversi formati rappresentazionali come il linguaggio naturale, il codice e la logica simbolica. Al contrario, la maggior parte degli approcci esistenti basati su LLM (Large Language Models) opera con una singola modalità di ragionamento durante l'addestramento, tipicamente il linguaggio naturale. Sebbene alcuni metodi abbiano esplorato la selezione o l'aumento delle modalità al momento dell'inferenza, il processo di addestramento rimane indifferente alle modalità, limitando la sinergia tra di esse. Per colmare questa lacuna, proponiamo Mixture-of-Thought (MoT), un framework che consente agli LLM di ragionare attraverso tre modalità complementari: linguaggio naturale, codice e una nuova modalità simbolica introdotta, la tavola di verità, che enumera sistematicamente i casi logici e mitiga parzialmente i principali punti di fallimento nel ragionamento in linguaggio naturale. MoT adotta un design a due fasi: (1) addestramento MoT auto-evolutivo, che apprende congiuntamente da razionalità auto-generate e filtrate attraverso le modalità; e (2) inferenza MoT, che sfrutta appieno la sinergia delle tre modalità per produrre previsioni migliori. Esperimenti su benchmark di ragionamento logico, tra cui FOLIO e ProofWriter, dimostrano che il nostro framework MoT supera costantemente e significativamente i forti baseline LLM con approcci a catena di pensiero a modalità singola, raggiungendo un guadagno medio di accuratezza fino a +11,7 punti percentuali. Ulteriori analisi mostrano che il nostro framework MoT beneficia sia delle fasi di addestramento che di inferenza; che è particolarmente efficace su problemi di ragionamento logico più difficili; e che le diverse modalità contribuiscono con punti di forza complementari, con il ragionamento tramite tavola di verità che aiuta a superare i principali colli di bottiglia nell'inferenza in linguaggio naturale.

English

Human beings naturally utilize multiple reasoning modalities to learn and solve logical problems, i.e., different representational formats such as natural language, code, and symbolic logic. In contrast, most existing LLM-based approaches operate with a single reasoning modality during training, typically natural language. Although some methods explored modality selection or augmentation at inference time, the training process remains modality-blind, limiting synergy among modalities. To fill in this gap, we propose Mixture-of-Thought (MoT), a framework that enables LLMs to reason across three complementary modalities: natural language, code, and a newly introduced symbolic modality, truth-table, which systematically enumerates logical cases and partially mitigates key failure modes in natural language reasoning. MoT adopts a two-phase design: (1) self-evolving MoT training, which jointly learns from filtered, self-generated rationales across modalities; and (2) MoT inference, which fully leverages the synergy of three modalities to produce better predictions. Experiments on logical reasoning benchmarks including FOLIO and ProofWriter demonstrate that our MoT framework consistently and significantly outperforms strong LLM baselines with single-modality chain-of-thought approaches, achieving up to +11.7pp average accuracy gain. Further analyses show that our MoT framework benefits both training and inference stages; that it is particularly effective on harder logical reasoning problems; and that different modalities contribute complementary strengths, with truth-table reasoning helping to overcome key bottlenecks in natural language inference.