Разложение вопроса повышает достоверность рассуждений, генерируемых моделью

Аннотация

По мере того как крупные языковые модели (LLMs) выполняют всё более сложные задачи, становится труднее проверять корректность и безопасность их поведения. Один из подходов к решению этой проблемы заключается в том, чтобы побуждать LLMs внешне выражать свои рассуждения, например, заставляя их генерировать пошаговые рассуждения при ответе на вопрос (Chain-of-Thought; CoT). Такие рассуждения могут позволить нам проверить процесс, который модели используют для выполнения задач. Однако этот подход основывается на том, что заявленные рассуждения точно отражают реальные рассуждения модели, что не всегда так. Чтобы повысить достоверность рассуждений CoT, мы заставляем модели генерировать рассуждения, разбивая вопросы на подвопросы. Методы, основанные на декомпозиции, демонстрируют высокую производительность в задачах ответов на вопросы, иногда приближаясь к результатам CoT, при этом улучшая достоверность заявленных рассуждений модели по нескольким недавно предложенным метрикам. Заставляя модель отвечать на более простые подвопросы в отдельных контекстах, мы значительно повышаем достоверность генерируемых моделью рассуждений по сравнению с CoT, сохраняя при этом некоторые преимущества в производительности, характерные для CoT. Наши результаты показывают, что можно улучшить достоверность генерируемых моделью рассуждений; дальнейшие улучшения могут привести к созданию рассуждений, которые позволят нам проверять корректность и безопасность поведения LLM.

English

As large language models (LLMs) perform more difficult tasks, it becomes harder to verify the correctness and safety of their behavior. One approach to help with this issue is to prompt LLMs to externalize their reasoning, e.g., by having them generate step-by-step reasoning as they answer a question (Chain-of-Thought; CoT). The reasoning may enable us to check the process that models use to perform tasks. However, this approach relies on the stated reasoning faithfully reflecting the model's actual reasoning, which is not always the case. To improve over the faithfulness of CoT reasoning, we have models generate reasoning by decomposing questions into subquestions. Decomposition-based methods achieve strong performance on question-answering tasks, sometimes approaching that of CoT while improving the faithfulness of the model's stated reasoning on several recently-proposed metrics. By forcing the model to answer simpler subquestions in separate contexts, we greatly increase the faithfulness of model-generated reasoning over CoT, while still achieving some of the performance gains of CoT. Our results show it is possible to improve the faithfulness of model-generated reasoning; continued improvements may lead to reasoning that enables us to verify the correctness and safety of LLM behavior.

Разложение вопроса повышает достоверность рассуждений, генерируемых моделью

Question Decomposition Improves the Faithfulness of Model-Generated Reasoning

Аннотация

Support