Обучение логическому рассуждению через смешение подходов (Mixture-of-Thought)

Learning to Reason via Mixture-of-Thought for Logical Reasoning

May 21, 2025

Авторы: Tong Zheng, Lichang Chen, Simeng Han, R. Thomas McCoy, Heng Huang

cs.AI

Аннотация

Люди естественным образом используют множественные модальности рассуждений для обучения и решения логических задач, такие как различные форматы представления, включая естественный язык, код и символическую логику. В отличие от этого, большинство существующих подходов, основанных на больших языковых моделях (LLM), используют одну модальность рассуждений во время обучения, обычно естественный язык. Хотя некоторые методы исследовали выбор или дополнение модальностей на этапе вывода, процесс обучения остается "слепым" к модальностям, что ограничивает синергию между ними. Чтобы заполнить этот пробел, мы предлагаем Mixture-of-Thought (MoT) — фреймворк, который позволяет LLM рассуждать с использованием трех взаимодополняющих модальностей: естественного языка, кода и новой символической модальности — таблицы истинности, которая систематически перечисляет логические случаи и частично устраняет ключевые недостатки рассуждений на естественном языке. MoT использует двухфазный дизайн: (1) саморазвивающееся обучение MoT, которое совместно обучается на отфильтрованных, самостоятельно сгенерированных обоснованиях из разных модальностей; и (2) вывод MoT, который полностью использует синергию трех модальностей для получения более точных предсказаний. Эксперименты на бенчмарках логического рассуждения, включая FOLIO и ProofWriter, демонстрируют, что наш фреймворк MoT стабильно и значительно превосходит сильные базовые LLM с подходами цепочки рассуждений на одной модальности, достигая увеличения средней точности до +11.7 процентных пунктов. Дополнительные анализы показывают, что наш фреймворк MoT приносит пользу как на этапе обучения, так и на этапе вывода; что он особенно эффективен на более сложных задачах логического рассуждения; и что разные модальности вносят взаимодополняющие преимущества, при этом рассуждения с использованием таблиц истинности помогают преодолеть ключевые ограничения в выводе на естественном языке.

English

Human beings naturally utilize multiple reasoning modalities to learn and solve logical problems, i.e., different representational formats such as natural language, code, and symbolic logic. In contrast, most existing LLM-based approaches operate with a single reasoning modality during training, typically natural language. Although some methods explored modality selection or augmentation at inference time, the training process remains modality-blind, limiting synergy among modalities. To fill in this gap, we propose Mixture-of-Thought (MoT), a framework that enables LLMs to reason across three complementary modalities: natural language, code, and a newly introduced symbolic modality, truth-table, which systematically enumerates logical cases and partially mitigates key failure modes in natural language reasoning. MoT adopts a two-phase design: (1) self-evolving MoT training, which jointly learns from filtered, self-generated rationales across modalities; and (2) MoT inference, which fully leverages the synergy of three modalities to produce better predictions. Experiments on logical reasoning benchmarks including FOLIO and ProofWriter demonstrate that our MoT framework consistently and significantly outperforms strong LLM baselines with single-modality chain-of-thought approaches, achieving up to +11.7pp average accuracy gain. Further analyses show that our MoT framework benefits both training and inference stages; that it is particularly effective on harder logical reasoning problems; and that different modalities contribute complementary strengths, with truth-table reasoning helping to overcome key bottlenecks in natural language inference.