OPT-R: Исследование роли объяснений в тонкой настройке и промптинге для развития навыков рассуждения у крупных языковых моделей

OPT-R: Exploring the Role of Explanations in Finetuning and Prompting for Reasoning Skills of Large Language Models

May 19, 2023

Авторы: Badr AlKhamissi, Siddharth Verma, Ping Yu, Zhijing Jin, Asli Celikyilmaz, Mona Diab

cs.AI

Аннотация

В данной статье мы проводим тщательное исследование способностей к рассуждению у крупных языковых моделей (LLM), уделяя особое внимание моделям Open Pretrained Transformers (OPT) как представителям данного класса моделей. Наше исследование включает тонкую настройку трех моделей OPT разного размера на тщательно отобранном корпусе для рассуждений, что приводит к созданию двух наборов настроенных моделей: OPT-R, настроенных без объяснений, и OPT-RE, настроенных с объяснениями. Затем мы оцениваем все модели на 57 задачах извне домена, взятых из бенчмарка SUPER-NATURALINSTRUCTIONS, охватывающих 26 различных навыков рассуждения, используя три метода промптинга. Через всестороннюю сетку из 27 конфигураций и 6 156 тестовых оценок мы исследуем аспекты тонкой настройки, промптинга и масштаба, чтобы понять роль объяснений в различных навыках рассуждения. Наши результаты показывают, что наличие объяснений в примерах fewshot не оказывает значительного влияния на производительность модели, когда модель настроена, но положительно влияет на ненастроенную модель. Кроме того, мы наблюдаем небольшое, но устойчивое повышение точности классификации по мере включения объяснений в промптинг и тонкую настройку соответственно. Наконец, мы предлагаем инсайты о том, какие навыки получают наибольшую пользу от включения объяснений в тонкую настройку и промптинг, такие как числовое (+20,4%) и аналогическое (+13,9%) рассуждение, а также о навыках, которые демонстрируют незначительный или отрицательный эффект.

English

In this paper, we conduct a thorough investigation into the reasoning capabilities of Large Language Models (LLMs), focusing specifically on the Open Pretrained Transformers (OPT) models as a representative of such models. Our study entails finetuning three different sizes of OPT on a carefully curated reasoning corpus, resulting in two sets of finetuned models: OPT-R, finetuned without explanations, and OPT-RE, finetuned with explanations. We then evaluate all models on 57 out-of-domain tasks drawn from the SUPER-NATURALINSTRUCTIONS benchmark, covering 26 distinct reasoning skills, utilizing three prompting techniques. Through a comprehensive grid of 27 configurations and 6,156 test evaluations, we investigate the dimensions of finetuning, prompting, and scale to understand the role of explanations on different reasoning skills. Our findings reveal that having explanations in the fewshot exemplar has no significant impact on the model's performance when the model is finetuned, while positively affecting the non-finetuned counterpart. Moreover, we observe a slight yet consistent increase in classification accuracy as we incorporate explanations during prompting and finetuning, respectively. Finally, we offer insights on which skills benefit the most from incorporating explanations during finetuning and prompting, such as Numerical (+20.4%) and Analogical (+13.9%) reasoning, as well as skills that exhibit negligible or negative effects.