Персонализированная дистилляция: Усиление открытых языковых моделей с адаптивным обучением для генерации кода

Personalised Distillation: Empowering Open-Sourced LLMs with Adaptive Learning for Code Generation

October 28, 2023

Авторы: Hailin Chen, Amrita Saha, Steven Hoi, Shafiq Joty

cs.AI

Аннотация

С ростом популярности мощных закрытых языковых моделей (LLM), таких как ChatGPT и GPT-4, возрастает интерес к передаче их возможностей меньшим открытым LLM. Традиционные методы дистилляции обычно предполагают генерацию ChatGPT набора инструкций и ответов, которые затем используются для обучения студенческой модели. Однако такой стандартный подход к дистилляции игнорирует особенности и условия работы студенческой модели. Вдохновленные современными принципами обучения, мы разработали персонализированный процесс дистилляции, в котором студенческая модель сначала пытается решить задачу, а затем учитель предоставляет адаптивное уточнение для улучшения решения. Вместо того чтобы предоставлять студенческой модели заранее подготовленные данные учителя, персонализированная дистилляция позволяет модели учиться на примерах, в которых она допускает ошибки, и улучшать свои собственные решения. В задаче генерации кода персонализированная дистилляция стабильно превосходит стандартный подход, используя лишь треть данных. Всего 2,5–3 тыс. персонализированных примеров, сбор которых обходится в 4–6 долларов, позволяют улучшить показатели модели CodeGen-mono-16B на 7%, достигнув 36,4% pass@1, и модели StarCoder на 12,2%, достигнув 45,8% pass@1 на тесте HumanEval.

English

With the rise of powerful closed-sourced LLMs (ChatGPT, GPT-4), there are increasing interests in distilling the capabilies of close-sourced LLMs to smaller open-sourced LLMs. Previous distillation methods usually prompt ChatGPT to generate a set of instructions and answers, for the student model to learn. However, such standard distillation approach neglects the merits and conditions of the student model. Inspired by modern teaching principles, we design a personalised distillation process, in which the student attempts to solve a task first, then the teacher provides an adaptive refinement for the student to improve. Instead of feeding the student with teacher's prior, personalised distillation enables personalised learning for the student model, as it only learns on examples it makes mistakes upon and learns to improve its own solution. On code generation, personalised distillation consistently outperforms standard distillation with only one third of the data. With only 2.5-3K personalised examples that incur a data-collection cost of 4-6$, we boost CodeGen-mono-16B by 7% to achieve 36.4% pass@1 and StarCoder by 12.2% to achieve 45.8% pass@1 on HumanEval.