OPT-R : Exploration du rôle des explications dans le fine-tuning et l'incitation pour les compétences de raisonnement des grands modèles de langage

OPT-R: Exploring the Role of Explanations in Finetuning and Prompting for Reasoning Skills of Large Language Models

May 19, 2023

Auteurs: Badr AlKhamissi, Siddharth Verma, Ping Yu, Zhijing Jin, Asli Celikyilmaz, Mona Diab

cs.AI

Résumé

Dans cet article, nous menons une investigation approfondie des capacités de raisonnement des modèles de langage à grande échelle (LLMs), en nous concentrant spécifiquement sur les modèles Open Pretrained Transformers (OPT) comme représentants de cette catégorie. Notre étude consiste à affiner trois tailles différentes d'OPT sur un corpus de raisonnement soigneusement sélectionné, produisant ainsi deux ensembles de modèles affinés : OPT-R, affiné sans explications, et OPT-RE, affiné avec des explications. Nous évaluons ensuite tous les modèles sur 57 tâches hors domaine issues du benchmark SUPER-NATURALINSTRUCTIONS, couvrant 26 compétences de raisonnement distinctes, en utilisant trois techniques d'incitation. À travers une grille exhaustive de 27 configurations et 6 156 évaluations de test, nous explorons les dimensions de l'affinage, de l'incitation et de l'échelle pour comprendre le rôle des explications sur différentes compétences de raisonnement. Nos résultats révèlent que la présence d'explications dans les exemples fewshot n'a pas d'impact significatif sur la performance du modèle lorsque celui-ci est affiné, tout en affectant positivement la version non affinée. De plus, nous observons une augmentation légère mais constante de la précision de classification lorsque nous intégrons des explications lors de l'incitation et de l'affinage, respectivement. Enfin, nous fournissons des insights sur les compétences qui bénéficient le plus de l'intégration d'explications lors de l'affinage et de l'incitation, telles que le raisonnement numérique (+20,4 %) et analogique (+13,9 %), ainsi que sur les compétences qui montrent des effets négligeables ou négatifs.

English

In this paper, we conduct a thorough investigation into the reasoning capabilities of Large Language Models (LLMs), focusing specifically on the Open Pretrained Transformers (OPT) models as a representative of such models. Our study entails finetuning three different sizes of OPT on a carefully curated reasoning corpus, resulting in two sets of finetuned models: OPT-R, finetuned without explanations, and OPT-RE, finetuned with explanations. We then evaluate all models on 57 out-of-domain tasks drawn from the SUPER-NATURALINSTRUCTIONS benchmark, covering 26 distinct reasoning skills, utilizing three prompting techniques. Through a comprehensive grid of 27 configurations and 6,156 test evaluations, we investigate the dimensions of finetuning, prompting, and scale to understand the role of explanations on different reasoning skills. Our findings reveal that having explanations in the fewshot exemplar has no significant impact on the model's performance when the model is finetuned, while positively affecting the non-finetuned counterpart. Moreover, we observe a slight yet consistent increase in classification accuracy as we incorporate explanations during prompting and finetuning, respectively. Finally, we offer insights on which skills benefit the most from incorporating explanations during finetuning and prompting, such as Numerical (+20.4%) and Analogical (+13.9%) reasoning, as well as skills that exhibit negligible or negative effects.