언어 모델을 통한 검증된 추론

초록

언어 모델은 복잡한 작업에서 단계별로 추론할 때 더 높은 정확도를 달성하는 경우가 많습니다. 그러나 그들의 추론은 불완전하거나 일관성이 없거나 바람직하지 않은 사전 가정에 의존할 수 있습니다. 이러한 문제를 해결하기 위해, 우리는 상태와 점진적 제약을 사용하여 생성을 안내하는 '가이드(guide)'라는 도구 클래스를 언어 모델에 도입합니다. 모델은 가이드를 호출하여 자신의 생성을 도구가 제공하는 유효한 명제 집합으로 제한할 수 있습니다. 이에 따라 모델의 선택은 가이드의 상태를 변경할 수 있습니다. 우리는 논리적 추론을 위한 일반적인 시스템을 가이드로 사용하는 방법을 보여주며, 이를 'LogicGuide'라고 명명합니다. 자연어로 주어진 추론 문제에 대해, 모델은 LogicGuide를 위해 자신의 가정을 형식화한 다음 추론 단계가 타당함을 보장할 수 있습니다. PrOntoQA 및 ProofWriter 추론 데이터셋을 사용한 실험에서 LogicGuide는 GPT-3, GPT-3.5 Turbo 및 LLaMA의 성능을 크게 향상시켰습니다(정확도 향상 최대 35%). 또한 LogicGuide는 콘텐츠 효과를 크게 감소시켰는데, 이는 인간과 언어 모델 모두가 겪어 온 사전 및 현재 가정의 간섭을 의미합니다. 마지막으로, 우리는 LLaMA 13B를 자체 추론으로부터 부트스트랩하는 방법을 탐구했으며, LogicGuide가 핵심적임을 발견했습니다: 검증된 자체 생성 추론만을 학습 데이터로 사용함으로써, LLaMA는 자기 개선이 가능하며 자신의 환각(허구적 추론)으로부터 학습하는 것을 피할 수 있습니다.

English

Language models often achieve higher accuracy when reasoning step-by-step in complex tasks. However, their reasoning can be unsound, inconsistent, or rely on undesirable prior assumptions. To tackle these issues, we introduce a class of tools for language models called guides that use state and incremental constraints to guide generation. A guide can be invoked by the model to constrain its own generation to a set of valid statements given by the tool. In turn, the model's choices can change the guide's state. We show how a general system for logical reasoning can be used as a guide, which we call LogicGuide. Given a reasoning problem in natural language, a model can formalize its assumptions for LogicGuide and then guarantee that its reasoning steps are sound. In experiments with the PrOntoQA and ProofWriter reasoning datasets, LogicGuide significantly improves the performance of GPT-3, GPT-3.5 Turbo and LLaMA (accuracy gains up to 35%). LogicGuide also drastically reduces content effects: the interference of prior and current assumptions that both humans and language models have been shown to suffer from. Finally, we explore bootstrapping LLaMA 13B from its own reasoning and find that LogicGuide is critical: by training only on certified self-generated reasoning, LLaMA can self-improve, avoiding learning from its own hallucinations.

언어 모델을 통한 검증된 추론

Certified Reasoning with Language Models

초록

Support