Gepersonaliseerde Destillatie: Open-Source LLM's Versterken met Adaptief Leren voor Codegeneratie
Personalised Distillation: Empowering Open-Sourced LLMs with Adaptive Learning for Code Generation
October 28, 2023
Auteurs: Hailin Chen, Amrita Saha, Steven Hoi, Shafiq Joty
cs.AI
Samenvatting
Met de opkomst van krachtige closed-source LLM's (ChatGPT, GPT-4) is er een groeiende interesse in het destilleren van de capaciteiten van closed-source LLM's naar kleinere open-source LLM's. Eerdere destillatiemethoden lieten ChatGPT meestal een set instructies en antwoorden genereren, zodat het studentmodel hiervan kon leren. Een dergelijke standaarddestillatiebenadering negeert echter de verdiensten en condities van het studentmodel. Geïnspireerd door moderne onderwijsprincipes hebben we een gepersonaliseerd destillatieproces ontworpen, waarbij de student eerst probeert een taak op te lossen, waarna de leraar een adaptieve verfijning biedt om de student te verbeteren. In plaats van het studentmodel te voeden met de voorkennis van de leraar, maakt gepersonaliseerde destillatie gepersonaliseerd leren mogelijk voor het studentmodel, omdat het alleen leert van voorbeelden waar het fouten maakt en leert om zijn eigen oplossing te verbeteren. Bij codegeneratie presteert gepersonaliseerde destillatie consistent beter dan standaarddestillatie met slechts een derde van de data. Met slechts 2,5-3K gepersonaliseerde voorbeelden, die een datacollectiekosten van 4-6$ met zich meebrengen, verbeteren we CodeGen-mono-16B met 7% om 36,4% pass@1 te behalen en StarCoder met 12,2% om 45,8% pass@1 te behalen op HumanEval.
English
With the rise of powerful closed-sourced LLMs (ChatGPT, GPT-4), there are
increasing interests in distilling the capabilies of close-sourced LLMs to
smaller open-sourced LLMs. Previous distillation methods usually prompt ChatGPT
to generate a set of instructions and answers, for the student model to learn.
However, such standard distillation approach neglects the merits and conditions
of the student model. Inspired by modern teaching principles, we design a
personalised distillation process, in which the student attempts to solve a
task first, then the teacher provides an adaptive refinement for the student to
improve. Instead of feeding the student with teacher's prior, personalised
distillation enables personalised learning for the student model, as it only
learns on examples it makes mistakes upon and learns to improve its own
solution. On code generation, personalised distillation consistently
outperforms standard distillation with only one third of the data. With only
2.5-3K personalised examples that incur a data-collection cost of 4-6$, we
boost CodeGen-mono-16B by 7% to achieve 36.4% pass@1 and StarCoder by 12.2% to
achieve 45.8% pass@1 on HumanEval.