Distilación Personalizada: Potenciando Modelos de Lenguaje de Código Abierto con Aprendizaje Adaptativo para la Generación de Código

Personalised Distillation: Empowering Open-Sourced LLMs with Adaptive Learning for Code Generation

October 28, 2023

Autores: Hailin Chen, Amrita Saha, Steven Hoi, Shafiq Joty

cs.AI

Resumen

Con el auge de los LLM (ChatGPT, GPT-4) potentes y de código cerrado, ha crecido el interés en destilar las capacidades de estos LLM de código cerrado hacia LLM más pequeños y de código abierto. Los métodos de destilación anteriores suelen solicitar a ChatGPT que genere un conjunto de instrucciones y respuestas para que el modelo estudiante aprenda. Sin embargo, este enfoque estándar de destilación pasa por alto las ventajas y condiciones del modelo estudiante. Inspirados por los principios modernos de enseñanza, diseñamos un proceso de destilación personalizado en el que el estudiante intenta resolver una tarea primero, y luego el profesor proporciona un refinamiento adaptativo para que el estudiante mejore. En lugar de alimentar al estudiante con el conocimiento previo del profesor, la destilación personalizada permite un aprendizaje personalizado para el modelo estudiante, ya que solo aprende de los ejemplos en los que comete errores y aprende a mejorar su propia solución. En la generación de código, la destilación personalizada supera consistentemente a la destilación estándar utilizando solo un tercio de los datos. Con solo 2.5-3K ejemplos personalizados que incurren en un costo de recopilación de datos de 4-6$, mejoramos CodeGen-mono-16B en un 7% para alcanzar un 36.4% en pass@1 y StarCoder en un 12.2% para alcanzar un 45.8% en pass@1 en HumanEval.

English

With the rise of powerful closed-sourced LLMs (ChatGPT, GPT-4), there are increasing interests in distilling the capabilies of close-sourced LLMs to smaller open-sourced LLMs. Previous distillation methods usually prompt ChatGPT to generate a set of instructions and answers, for the student model to learn. However, such standard distillation approach neglects the merits and conditions of the student model. Inspired by modern teaching principles, we design a personalised distillation process, in which the student attempts to solve a task first, then the teacher provides an adaptive refinement for the student to improve. Instead of feeding the student with teacher's prior, personalised distillation enables personalised learning for the student model, as it only learns on examples it makes mistakes upon and learns to improve its own solution. On code generation, personalised distillation consistently outperforms standard distillation with only one third of the data. With only 2.5-3K personalised examples that incur a data-collection cost of 4-6$, we boost CodeGen-mono-16B by 7% to achieve 36.4% pass@1 and StarCoder by 12.2% to achieve 45.8% pass@1 on HumanEval.