OPT-R: Onderzoek naar de Rol van Uitleg bij het Finetunen en Prompten voor Redeneervaardigheden van Grote Taalmodellen

OPT-R: Exploring the Role of Explanations in Finetuning and Prompting for Reasoning Skills of Large Language Models

May 19, 2023

Auteurs: Badr AlKhamissi, Siddharth Verma, Ping Yu, Zhijing Jin, Asli Celikyilmaz, Mona Diab

cs.AI

Samenvatting

In dit artikel voeren we een grondig onderzoek uit naar de redeneervaardigheden van Large Language Models (LLMs), waarbij we ons specifiek richten op de Open Pretrained Transformers (OPT)-modellen als representatief voorbeeld van dergelijke modellen. Onze studie omvat het finetunen van drie verschillende groottes van OPT op een zorgvuldig samengesteld redeneercorpus, wat resulteert in twee sets gefinetunde modellen: OPT-R, gefinetund zonder uitleg, en OPT-RE, gefinetund met uitleg. Vervolgens evalueren we alle modellen op 57 taken buiten het domein, afkomstig uit de SUPER-NATURALINSTRUCTIONS-benchmark, die 26 verschillende redeneervaardigheden beslaan, waarbij we drie promptingtechnieken gebruiken. Door middel van een uitgebreid raster van 27 configuraties en 6.156 testevaluaties onderzoeken we de dimensies van finetunen, prompting en schaal om de rol van uitleg bij verschillende redeneervaardigheden te begrijpen. Onze bevindingen laten zien dat het hebben van uitleg in de fewshot-voorbeelden geen significante invloed heeft op de prestaties van het model wanneer het model is gefinetund, terwijl het een positief effect heeft op het niet-gefinetunde model. Bovendien observeren we een lichte maar consistente toename in classificatienauwkeurigheid naarmate we uitleg integreren tijdens prompting en finetunen. Tot slot bieden we inzichten over welke vaardigheden het meeste baat hebben bij het opnemen van uitleg tijdens finetunen en prompting, zoals Numeriek (+20,4%) en Analoog (+13,9%) redeneren, evenals vaardigheden die verwaarloosbare of negatieve effecten vertonen.

English

In this paper, we conduct a thorough investigation into the reasoning capabilities of Large Language Models (LLMs), focusing specifically on the Open Pretrained Transformers (OPT) models as a representative of such models. Our study entails finetuning three different sizes of OPT on a carefully curated reasoning corpus, resulting in two sets of finetuned models: OPT-R, finetuned without explanations, and OPT-RE, finetuned with explanations. We then evaluate all models on 57 out-of-domain tasks drawn from the SUPER-NATURALINSTRUCTIONS benchmark, covering 26 distinct reasoning skills, utilizing three prompting techniques. Through a comprehensive grid of 27 configurations and 6,156 test evaluations, we investigate the dimensions of finetuning, prompting, and scale to understand the role of explanations on different reasoning skills. Our findings reveal that having explanations in the fewshot exemplar has no significant impact on the model's performance when the model is finetuned, while positively affecting the non-finetuned counterpart. Moreover, we observe a slight yet consistent increase in classification accuracy as we incorporate explanations during prompting and finetuning, respectively. Finally, we offer insights on which skills benefit the most from incorporating explanations during finetuning and prompting, such as Numerical (+20.4%) and Analogical (+13.9%) reasoning, as well as skills that exhibit negligible or negative effects.