질문 분해는 모델 생성 추론의 신뢰성을 향상시킨다

Question Decomposition Improves the Faithfulness of Model-Generated Reasoning

July 17, 2023

저자: Ansh Radhakrishnan, Karina Nguyen, Anna Chen, Carol Chen, Carson Denison, Danny Hernandez, Esin Durmus, Evan Hubinger, Jackson Kernion, Kamilė Lukošiūtė, Newton Cheng, Nicholas Joseph, Nicholas Schiefer, Oliver Rausch, Sam McCandlish, Sheer El Showk, Tamera Lanham, Tim Maxwell, Venkatesa Chandrasekaran, Zac Hatfield-Dodds, Jared Kaplan, Jan Brauner, Samuel R. Bowman, Ethan Perez

cs.AI

초록

대규모 언어 모델(LLM)이 더 복잡한 작업을 수행할수록, 그 행동의 정확성과 안전성을 검증하는 것이 더 어려워진다. 이 문제를 해결하기 위한 한 가지 접근 방식은 LLM에게 자신의 추론 과정을 외부화하도록 요청하는 것이다. 예를 들어, 질문에 답변하면서 단계별 추론을 생성하도록 하는 방법(Chain-of-Thought; CoT)이 있다. 이러한 추론 과정을 통해 모델이 작업을 수행하는 데 사용한 프로세스를 확인할 수 있다. 그러나 이 접근 방식은 명시된 추론이 모델의 실제 추론을 충실히 반영한다는 데 의존하는데, 이는 항상 사실이 아니다. CoT 추론의 충실성을 개선하기 위해, 우리는 모델이 질문을 하위 질문으로 분해하여 추론을 생성하도록 한다. 분해 기반 방법은 질문-답변 작업에서 강력한 성능을 달성하며, 때로는 CoT에 근접한 성능을 보이면서도 최근 제안된 여러 지표에서 모델의 명시된 추론의 충실성을 개선한다. 모델이 더 간단한 하위 질문을 별도의 맥락에서 답변하도록 강제함으로써, 우리는 CoT에 비해 모델 생성 추론의 충실성을 크게 높이면서도 CoT의 성능 향상 중 일부를 여전히 달성한다. 우리의 결과는 모델 생성 추론의 충실성을 개선할 수 있음을 보여준다; 이러한 지속적인 개선은 LLM 행동의 정확성과 안전성을 검증할 수 있는 추론으로 이어질 수 있다.

English

As large language models (LLMs) perform more difficult tasks, it becomes harder to verify the correctness and safety of their behavior. One approach to help with this issue is to prompt LLMs to externalize their reasoning, e.g., by having them generate step-by-step reasoning as they answer a question (Chain-of-Thought; CoT). The reasoning may enable us to check the process that models use to perform tasks. However, this approach relies on the stated reasoning faithfully reflecting the model's actual reasoning, which is not always the case. To improve over the faithfulness of CoT reasoning, we have models generate reasoning by decomposing questions into subquestions. Decomposition-based methods achieve strong performance on question-answering tasks, sometimes approaching that of CoT while improving the faithfulness of the model's stated reasoning on several recently-proposed metrics. By forcing the model to answer simpler subquestions in separate contexts, we greatly increase the faithfulness of model-generated reasoning over CoT, while still achieving some of the performance gains of CoT. Our results show it is possible to improve the faithfulness of model-generated reasoning; continued improvements may lead to reasoning that enables us to verify the correctness and safety of LLM behavior.