Personalisierte Destillation: Stärkung von Open-Source-LLMs durch adaptives Lernen für die Code-Generierung
Personalised Distillation: Empowering Open-Sourced LLMs with Adaptive Learning for Code Generation
October 28, 2023
papers.authors: Hailin Chen, Amrita Saha, Steven Hoi, Shafiq Joty
cs.AI
papers.abstract
Mit dem Aufstieg leistungsstarker, proprietärer LLMs (ChatGPT, GPT-4) wächst das Interesse daran, die Fähigkeiten dieser geschlossenen LLMs auf kleinere, quelloffene LLMs zu übertragen. Bisherige Distillationsmethoden forderten ChatGPT in der Regel auf, eine Reihe von Anweisungen und Antworten zu generieren, die das Schülermodell dann lernen sollte. Ein solcher standardisierter Distillationsansatz vernachlässigt jedoch die Stärken und Voraussetzungen des Schülermodells. Inspiriert von modernen Lehrprinzipien haben wir einen personalisierten Distillationsprozess entwickelt, bei dem der Schüler zunächst versucht, eine Aufgabe zu lösen, und der Lehrer anschließend eine adaptive Verbesserung bereitstellt, um den Schüler zu fördern. Anstatt dem Schüler das Vorwissen des Lehrers zu vermitteln, ermöglicht die personalisierte Distillation ein individuelles Lernen für das Schülermodell, da es nur an Beispielen lernt, bei denen es Fehler macht, und lernt, seine eigene Lösung zu verbessern. Bei der Code-Generierung übertrifft die personalisierte Distillation die Standarddistillation durchweg mit nur einem Drittel der Daten. Mit nur 2,5-3K personalisierten Beispielen, die Datenerfassungskosten von 4-6$ verursachen, steigern wir CodeGen-mono-16B um 7% auf 36,4% pass@1 und StarCoder um 12,2% auf 45,8% pass@1 bei HumanEval.
English
With the rise of powerful closed-sourced LLMs (ChatGPT, GPT-4), there are
increasing interests in distilling the capabilies of close-sourced LLMs to
smaller open-sourced LLMs. Previous distillation methods usually prompt ChatGPT
to generate a set of instructions and answers, for the student model to learn.
However, such standard distillation approach neglects the merits and conditions
of the student model. Inspired by modern teaching principles, we design a
personalised distillation process, in which the student attempts to solve a
task first, then the teacher provides an adaptive refinement for the student to
improve. Instead of feeding the student with teacher's prior, personalised
distillation enables personalised learning for the student model, as it only
learns on examples it makes mistakes upon and learns to improve its own
solution. On code generation, personalised distillation consistently
outperforms standard distillation with only one third of the data. With only
2.5-3K personalised examples that incur a data-collection cost of 4-6$, we
boost CodeGen-mono-16B by 7% to achieve 36.4% pass@1 and StarCoder by 12.2% to
achieve 45.8% pass@1 on HumanEval.