OPT-R: 大規模言語モデルの推論スキルにおけるファインチューニングとプロンプティングにおける説明の役割の探求

OPT-R: Exploring the Role of Explanations in Finetuning and Prompting for Reasoning Skills of Large Language Models

May 19, 2023

著者: Badr AlKhamissi, Siddharth Verma, Ping Yu, Zhijing Jin, Asli Celikyilmaz, Mona Diab

cs.AI

要旨

本論文では、大規模言語モデル（LLMs）の推論能力について徹底的な調査を行い、特にOpen Pretrained Transformers（OPT）モデルを代表例として焦点を当てています。本研究では、慎重に選別された推論コーパスを用いて3つの異なるサイズのOPTモデルをファインチューニングし、説明なしでファインチューニングしたOPT-Rと、説明付きでファインチューニングしたOPT-REの2つのモデルセットを作成しました。その後、SUPER-NATURALINSTRUCTIONSベンチマークから抽出した57のドメイン外タスクにおいて、26の異なる推論スキルをカバーし、3つのプロンプト手法を用いて全てのモデルを評価しました。27の設定と6,156のテスト評価を通じて、ファインチューニング、プロンプト、スケールの次元を調査し、異なる推論スキルにおける説明の役割を理解しました。我々の調査結果は、ファインチューニングされたモデルにおいては、few-shotの例に説明を含めてもモデルの性能に有意な影響を与えない一方で、ファインチューニングされていないモデルでは正の影響を与えることを明らかにしました。さらに、プロンプトとファインチューニングのそれぞれにおいて説明を取り入れることで、分類精度がわずかながらも一貫して向上することを観察しました。最後に、ファインチューニングとプロンプトの際に説明を取り入れることで最も恩恵を受けるスキル（例えば、数値推論（+20.4%）や類推推論（+13.9%））や、ほとんど効果がないか逆に悪影響を及ぼすスキルについての洞察を提供します。

English

In this paper, we conduct a thorough investigation into the reasoning capabilities of Large Language Models (LLMs), focusing specifically on the Open Pretrained Transformers (OPT) models as a representative of such models. Our study entails finetuning three different sizes of OPT on a carefully curated reasoning corpus, resulting in two sets of finetuned models: OPT-R, finetuned without explanations, and OPT-RE, finetuned with explanations. We then evaluate all models on 57 out-of-domain tasks drawn from the SUPER-NATURALINSTRUCTIONS benchmark, covering 26 distinct reasoning skills, utilizing three prompting techniques. Through a comprehensive grid of 27 configurations and 6,156 test evaluations, we investigate the dimensions of finetuning, prompting, and scale to understand the role of explanations on different reasoning skills. Our findings reveal that having explanations in the fewshot exemplar has no significant impact on the model's performance when the model is finetuned, while positively affecting the non-finetuned counterpart. Moreover, we observe a slight yet consistent increase in classification accuracy as we incorporate explanations during prompting and finetuning, respectively. Finally, we offer insights on which skills benefit the most from incorporating explanations during finetuning and prompting, such as Numerical (+20.4%) and Analogical (+13.9%) reasoning, as well as skills that exhibit negligible or negative effects.