Destilação Personalizada: Capacitando LLMs de Código Aberto com Aprendizado Adaptativo para Geração de Código
Personalised Distillation: Empowering Open-Sourced LLMs with Adaptive Learning for Code Generation
October 28, 2023
Autores: Hailin Chen, Amrita Saha, Steven Hoi, Shafiq Joty
cs.AI
Resumo
Com o surgimento de LLMs (Large Language Models) poderosos e de código fechado (como ChatGPT e GPT-4), há um interesse crescente em destilar as capacidades desses LLMs de código fechado para LLMs menores e de código aberto. Métodos anteriores de destilação geralmente solicitam ao ChatGPT que gere um conjunto de instruções e respostas, para que o modelo estudante aprenda. No entanto, essa abordagem padrão de destilação ignora os méritos e as condições do modelo estudante. Inspirados por princípios modernos de ensino, projetamos um processo de destilação personalizado, no qual o estudante tenta resolver uma tarefa primeiro, e então o professor fornece um refinamento adaptativo para que o estudante melhore. Em vez de alimentar o estudante com o conhecimento prévio do professor, a destilação personalizada permite um aprendizado personalizado para o modelo estudante, pois ele aprende apenas com os exemplos em que comete erros e aprende a melhorar sua própria solução. Na geração de código, a destilação personalizada supera consistentemente a destilação padrão com apenas um terço dos dados. Com apenas 2,5-3 mil exemplos personalizados, que custam de 4 a 6 dólares para coletar, aumentamos o desempenho do CodeGen-mono-16B em 7%, alcançando 36,4% de pass@1, e do StarCoder em 12,2%, alcançando 45,8% de pass@1 no HumanEval.
English
With the rise of powerful closed-sourced LLMs (ChatGPT, GPT-4), there are
increasing interests in distilling the capabilies of close-sourced LLMs to
smaller open-sourced LLMs. Previous distillation methods usually prompt ChatGPT
to generate a set of instructions and answers, for the student model to learn.
However, such standard distillation approach neglects the merits and conditions
of the student model. Inspired by modern teaching principles, we design a
personalised distillation process, in which the student attempts to solve a
task first, then the teacher provides an adaptive refinement for the student to
improve. Instead of feeding the student with teacher's prior, personalised
distillation enables personalised learning for the student model, as it only
learns on examples it makes mistakes upon and learns to improve its own
solution. On code generation, personalised distillation consistently
outperforms standard distillation with only one third of the data. With only
2.5-3K personalised examples that incur a data-collection cost of 4-6$, we
boost CodeGen-mono-16B by 7% to achieve 36.4% pass@1 and StarCoder by 12.2% to
achieve 45.8% pass@1 on HumanEval.