質問の分解は、モデル生成推論の信頼性を向上させる

Question Decomposition Improves the Faithfulness of Model-Generated Reasoning

July 17, 2023

著者: Ansh Radhakrishnan, Karina Nguyen, Anna Chen, Carol Chen, Carson Denison, Danny Hernandez, Esin Durmus, Evan Hubinger, Jackson Kernion, Kamilė Lukošiūtė, Newton Cheng, Nicholas Joseph, Nicholas Schiefer, Oliver Rausch, Sam McCandlish, Sheer El Showk, Tamera Lanham, Tim Maxwell, Venkatesa Chandrasekaran, Zac Hatfield-Dodds, Jared Kaplan, Jan Brauner, Samuel R. Bowman, Ethan Perez

cs.AI

要旨

大規模言語モデル（LLM）がより困難なタスクを実行するにつれ、その動作の正確性と安全性を検証することが難しくなっています。この問題に対処するための一つのアプローチは、LLMに推論を外部化させるよう促すことです。例えば、質問に答える際に段階的な推論を生成させる（Chain-of-Thought; CoT）方法があります。この推論により、モデルがタスクを実行する際に使用するプロセスを確認できる可能性があります。しかし、このアプローチは、表明された推論がモデルの実際の推論を忠実に反映していることに依存しており、必ずしもそうとは限りません。CoT推論の忠実性を向上させるために、私たちはモデルに質問をサブ質問に分解させて推論を生成させます。分解ベースの手法は、質問応答タスクにおいて強力な性能を発揮し、CoTに近い性能を達成しつつ、最近提案されたいくつかの指標においてモデルの表明された推論の忠実性を向上させます。モデルに別々のコンテキストでより単純なサブ質問に答えさせることにより、CoTと比較してモデル生成推論の忠実性を大幅に向上させつつ、CoTの性能向上の一部も達成します。私たちの結果は、モデル生成推論の忠実性を向上させることが可能であることを示しており、継続的な改善により、LLMの動作の正確性と安全性を検証可能にする推論が得られる可能性があります。

English

As large language models (LLMs) perform more difficult tasks, it becomes harder to verify the correctness and safety of their behavior. One approach to help with this issue is to prompt LLMs to externalize their reasoning, e.g., by having them generate step-by-step reasoning as they answer a question (Chain-of-Thought; CoT). The reasoning may enable us to check the process that models use to perform tasks. However, this approach relies on the stated reasoning faithfully reflecting the model's actual reasoning, which is not always the case. To improve over the faithfulness of CoT reasoning, we have models generate reasoning by decomposing questions into subquestions. Decomposition-based methods achieve strong performance on question-answering tasks, sometimes approaching that of CoT while improving the faithfulness of the model's stated reasoning on several recently-proposed metrics. By forcing the model to answer simpler subquestions in separate contexts, we greatly increase the faithfulness of model-generated reasoning over CoT, while still achieving some of the performance gains of CoT. Our results show it is possible to improve the faithfulness of model-generated reasoning; continued improvements may lead to reasoning that enables us to verify the correctness and safety of LLM behavior.