OPT-R: Untersuchung der Rolle von Erklärungen beim Feinabstimmen und Prompting für die Argumentationsfähigkeiten großer Sprachmodelle

OPT-R: Exploring the Role of Explanations in Finetuning and Prompting for Reasoning Skills of Large Language Models

May 19, 2023

Autoren: Badr AlKhamissi, Siddharth Verma, Ping Yu, Zhijing Jin, Asli Celikyilmaz, Mona Diab

cs.AI

Zusammenfassung

In dieser Arbeit führen wir eine umfassende Untersuchung der Fähigkeiten von Large Language Models (LLMs) im Bereich des logischen Denkens durch, wobei wir uns speziell auf die Open Pretrained Transformers (OPT)-Modelle als repräsentative Vertreter solcher Modelle konzentrieren. Unsere Studie umfasst das Feinabstimmen von drei verschiedenen Größen von OPT auf einem sorgfältig kuratierten Korpus für logisches Denken, was zu zwei Gruppen von feinabgestimmten Modellen führt: OPT-R, ohne Erklärungen feinabgestimmt, und OPT-RE, mit Erklärungen feinabgestimmt. Anschließend bewerten wir alle Modelle anhand von 57 Aufgaben außerhalb des Trainingsbereichs, die aus dem SUPER-NATURALINSTRUCTIONS-Benchmark stammen und 26 verschiedene Denkfähigkeiten abdecken, wobei wir drei Prompting-Techniken verwenden. Durch ein umfassendes Raster von 27 Konfigurationen und 6.156 Testbewertungen untersuchen wir die Dimensionen der Feinabstimmung, des Promptings und der Skalierung, um die Rolle von Erklärungen bei verschiedenen Denkfähigkeiten zu verstehen. Unsere Ergebnisse zeigen, dass das Vorhandensein von Erklärungen in den Fewshot-Beispielen keinen signifikanten Einfluss auf die Leistung des Modells hat, wenn das Modell feinabgestimmt wurde, während es das nicht feinabgestimmte Modell positiv beeinflusst. Darüber hinaus beobachten wir einen leichten, aber konsistenten Anstieg der Klassifikationsgenauigkeit, wenn wir Erklärungen während des Promptings bzw. der Feinabstimmung einbeziehen. Schließlich geben wir Einblicke, welche Fähigkeiten am meisten von der Einbeziehung von Erklärungen während der Feinabstimmung und des Promptings profitieren, wie z. B. numerisches (+20,4 %) und analoges (+13,9 %) Denken, sowie Fähigkeiten, die vernachlässigbare oder negative Auswirkungen zeigen.

English

In this paper, we conduct a thorough investigation into the reasoning capabilities of Large Language Models (LLMs), focusing specifically on the Open Pretrained Transformers (OPT) models as a representative of such models. Our study entails finetuning three different sizes of OPT on a carefully curated reasoning corpus, resulting in two sets of finetuned models: OPT-R, finetuned without explanations, and OPT-RE, finetuned with explanations. We then evaluate all models on 57 out-of-domain tasks drawn from the SUPER-NATURALINSTRUCTIONS benchmark, covering 26 distinct reasoning skills, utilizing three prompting techniques. Through a comprehensive grid of 27 configurations and 6,156 test evaluations, we investigate the dimensions of finetuning, prompting, and scale to understand the role of explanations on different reasoning skills. Our findings reveal that having explanations in the fewshot exemplar has no significant impact on the model's performance when the model is finetuned, while positively affecting the non-finetuned counterpart. Moreover, we observe a slight yet consistent increase in classification accuracy as we incorporate explanations during prompting and finetuning, respectively. Finally, we offer insights on which skills benefit the most from incorporating explanations during finetuning and prompting, such as Numerical (+20.4%) and Analogical (+13.9%) reasoning, as well as skills that exhibit negligible or negative effects.