Lernen zu schlussfolgern durch Mixture-of-Thought für logisches Denken

Learning to Reason via Mixture-of-Thought for Logical Reasoning

May 21, 2025

Autoren: Tong Zheng, Lichang Chen, Simeng Han, R. Thomas McCoy, Heng Huang

cs.AI

Zusammenfassung

Menschen nutzen auf natürliche Weise mehrere Denkmodalitäten, um zu lernen und logische Probleme zu lösen, d.h. verschiedene Darstellungsformate wie natürliche Sprache, Code und symbolische Logik. Im Gegensatz dazu arbeiten die meisten bestehenden LLM-basierten Ansätze während des Trainings mit einer einzigen Denkmodalität, typischerweise natürlicher Sprache. Obwohl einige Methoden die Auswahl oder Erweiterung von Modalitäten zur Inferenzzeit untersucht haben, bleibt der Trainingsprozess modalitätsblind, was die Synergie zwischen den Modalitäten einschränkt. Um diese Lücke zu schließen, schlagen wir Mixture-of-Thought (MoT) vor, ein Framework, das LLMs ermöglicht, über drei komplementäre Modalitäten zu schließen: natürliche Sprache, Code und eine neu eingeführte symbolische Modalität, die Wahrheitstabelle, die logische Fälle systematisch aufzählt und wichtige Fehlermodi beim Schlussfolgern in natürlicher Sprache teilweise abmildert. MoT verwendet ein zweiphasiges Design: (1) selbstentwickelndes MoT-Training, das gemeinsam aus gefilterten, selbstgenerierten Begründungen über verschiedene Modalitäten lernt; und (2) MoT-Inferenz, die die Synergie der drei Modalitäten voll ausschöpft, um bessere Vorhersagen zu treffen. Experimente auf logischen Denkbenchmarks, einschließlich FOLIO und ProofWriter, zeigen, dass unser MoT-Framework durchweg und signifikant starke LLM-Baselines mit Einzelmodalitäts-Ketten-von-Gedanken-Ansätzen übertrifft und einen durchschnittlichen Genauigkeitsgewinn von bis zu +11,7 Prozentpunkten erzielt. Weitere Analysen zeigen, dass unser MoT-Framework sowohl die Trainings- als auch die Inferenzphasen begünstigt; dass es besonders effektiv bei schwierigeren logischen Denkproblemen ist; und dass verschiedene Modalitäten komplementäre Stärken beitragen, wobei das Schlussfolgern mit Wahrheitstabellen hilft, wichtige Engpässe in der natürlichen Sprachinferenz zu überwinden.

English

Human beings naturally utilize multiple reasoning modalities to learn and solve logical problems, i.e., different representational formats such as natural language, code, and symbolic logic. In contrast, most existing LLM-based approaches operate with a single reasoning modality during training, typically natural language. Although some methods explored modality selection or augmentation at inference time, the training process remains modality-blind, limiting synergy among modalities. To fill in this gap, we propose Mixture-of-Thought (MoT), a framework that enables LLMs to reason across three complementary modalities: natural language, code, and a newly introduced symbolic modality, truth-table, which systematically enumerates logical cases and partially mitigates key failure modes in natural language reasoning. MoT adopts a two-phase design: (1) self-evolving MoT training, which jointly learns from filtered, self-generated rationales across modalities; and (2) MoT inference, which fully leverages the synergy of three modalities to produce better predictions. Experiments on logical reasoning benchmarks including FOLIO and ProofWriter demonstrate that our MoT framework consistently and significantly outperforms strong LLM baselines with single-modality chain-of-thought approaches, achieving up to +11.7pp average accuracy gain. Further analyses show that our MoT framework benefits both training and inference stages; that it is particularly effective on harder logical reasoning problems; and that different modalities contribute complementary strengths, with truth-table reasoning helping to overcome key bottlenecks in natural language inference.