逆転思考はLLMをより強力な推論者にします。

Reverse Thinking Makes LLMs Stronger Reasoners

November 29, 2024

著者: Justin Chih-Yao Chen, Zifeng Wang, Hamid Palangi, Rujun Han, Sayna Ebrahimi, Long Le, Vincent Perot, Swaroop Mishra, Mohit Bansal, Chen-Yu Lee, Tomas Pfister

cs.AI

要旨

逆思考は人間の推論において重要な役割を果たしています。人間は問題から解決策への推論だけでなく、逆に解決策から問題へと進むことができます。これにより、前方と後方の思考の整合性を確認することで、全体的な推論パフォーマンスが向上することがしばしばあります。大規模言語モデル（LLMs）に逆思考を行わせるために、データ拡張と学習目標から構成されるReverse-Enhanced Thinking（RevThink）フレームワークを導入します。RevThinkでは、元の質問、前方推論、逆質問、逆推論から構成される教師モデルから構造化された前進-後退推論を収集することでデータセットを拡張します。その後、3つの目標を使用して、マルチタスク学習の形式でより小さな学習モデルをトレーニングします：（a）質問から前方推論を生成する、（b）質問から逆質問を生成する、および（c）逆質問から逆推論を生成する。常識、数学、論理推論をカバーする12つのデータセットでの実験結果は、学習モデルのゼロショットパフォーマンスに対する平均13.53％の改善と、最も強力な知識蒸留のベースラインに対する6.84％の改善を示しています。さらに、我々の手法はサンプル効率性を示し、トレーニングデータから正しい前方推論のわずか10％のみを使用しても、10倍の前方推論でトレーニングされた標準のファインチューニング手法を上回ります。RevThinkは、分布外の保留データセットに対しても強力な汎化能力を示しています。

English

Reverse thinking plays a crucial role in human reasoning. Humans can reason not only from a problem to a solution but also in reverse, i.e., start from the solution and reason towards the problem. This often enhances overall reasoning performance as it enables consistency checks between their forward and backward thinking. To enable Large Language Models (LLMs) to perform reverse thinking, we introduce Reverse-Enhanced Thinking (RevThink), a framework composed of data augmentation and learning objectives. In RevThink, we augment the dataset by collecting structured forward-backward reasoning from a teacher model, consisting of: (1) the original question, (2) forward reasoning, (3) backward question, and (4) backward reasoning. We then employ three objectives to train a smaller student model in a multi-task learning fashion: (a) generate forward reasoning from a question, (b) generate a backward question from a question, and (c) generate backward reasoning from the backward question. Experiments across 12 datasets covering commonsense, math, and logical reasoning show an average 13.53% improvement over the student model's zero-shot performance and a 6.84% improvement over the strongest knowledge distillation baselines. Moreover, our method demonstrates sample efficiency -- using only 10% of the correct forward reasoning from the training data, it outperforms a standard fine-tuning method trained on 10x more forward reasoning. RevThink also exhibits strong generalization to out-of-distribution held-out datasets.