Co-treinamento e Co-distilação para Melhoria de Qualidade e Compressão de Modelos de Linguagem

Co-training and Co-distillation for Quality Improvement and Compression of Language Models

November 6, 2023

Autores: Hayeon Lee, Rui Hou, Jongpil Kim, Davis Liang, Hongbo Zhang, Sung Ju Hwang, Alexander Min

cs.AI

Resumo

A Distilação de Conhecimento (KD, do inglês Knowledge Distillation) comprime modelos de linguagem pré-treinados (PLMs, do inglês Pre-trained Language Models) computacionalmente caros ao transferir seu conhecimento para modelos menores, permitindo seu uso em ambientes com recursos limitados ou em tempo real. No entanto, a maioria dos modelos menores não consegue superar o desempenho do modelo original maior, resultando em um sacrifício de desempenho para melhorar a velocidade de inferência. Para resolver esse problema, propomos o Co-Treinamento e Co-Distilação (CTCD, do inglês Co-Training and Co-Distillation), uma nova estrutura que melhora o desempenho e a velocidade de inferência simultaneamente ao co-treinar dois modelos enquanto realiza a distilação mútua de conhecimento. O framework CTCD alcança esse objetivo com base em duas descobertas significativas: 1) A distilação de conhecimento do modelo menor para o modelo maior durante o co-treinamento melhora o desempenho do modelo maior. 2) O desempenho aprimorado do modelo maior impulsiona ainda mais o desempenho do modelo menor. O framework CTCD mostra-se promissor, pois pode ser combinado com técnicas existentes, como design de arquitetura ou aumento de dados, substituindo métodos de KD unidirecionais, para alcançar uma melhoria adicional de desempenho. Estudos abrangentes de ablação demonstram a eficácia do CTCD, e o modelo menor distilado por CTCD supera o modelo original maior por uma margem significativa de 1,66 no benchmark GLUE.

English

Knowledge Distillation (KD) compresses computationally expensive pre-trained language models (PLMs) by transferring their knowledge to smaller models, allowing their use in resource-constrained or real-time settings. However, most smaller models fail to surpass the performance of the original larger model, resulting in sacrificing performance to improve inference speed. To address this issue, we propose Co-Training and Co-Distillation (CTCD), a novel framework that improves performance and inference speed together by co-training two models while mutually distilling knowledge. The CTCD framework successfully achieves this based on two significant findings: 1) Distilling knowledge from the smaller model to the larger model during co-training improves the performance of the larger model. 2) The enhanced performance of the larger model further boosts the performance of the smaller model. The CTCD framework shows promise as it can be combined with existing techniques like architecture design or data augmentation, replacing one-way KD methods, to achieve further performance improvement. Extensive ablation studies demonstrate the effectiveness of CTCD, and the small model distilled by CTCD outperforms the original larger model by a significant margin of 1.66 on the GLUE benchmark.