Co-entraînement et co-distillation pour l'amélioration de la qualité et la compression des modèles de langage

Co-training and Co-distillation for Quality Improvement and Compression of Language Models

November 6, 2023

Auteurs: Hayeon Lee, Rui Hou, Jongpil Kim, Davis Liang, Hongbo Zhang, Sung Ju Hwang, Alexander Min

cs.AI

Résumé

La Distillation de Connaissances (KD) compresse les modèles de langage pré-entraînés (PLM) coûteux en termes de calcul en transférant leurs connaissances à des modèles plus petits, permettant ainsi leur utilisation dans des environnements à ressources limitées ou en temps réel. Cependant, la plupart des modèles plus petits ne parviennent pas à surpasser les performances du modèle original plus grand, ce qui entraîne un sacrifice des performances pour améliorer la vitesse d'inférence. Pour résoudre ce problème, nous proposons le Co-Entraînement et la Co-Distillation (CTCD), un nouveau cadre qui améliore à la fois les performances et la vitesse d'inférence en co-entraînant deux modèles tout en distillant mutuellement leurs connaissances. Le cadre CTCD réussit cela grâce à deux découvertes significatives : 1) La distillation des connaissances du modèle plus petit vers le modèle plus grand pendant le co-entraînement améliore les performances du modèle plus grand. 2) L'amélioration des performances du modèle plus grand renforce à son tour les performances du modèle plus petit. Le cadre CTCD montre des promesses car il peut être combiné avec des techniques existantes comme la conception d'architecture ou l'augmentation de données, remplaçant les méthodes de KD unidirectionnelles, pour obtenir une amélioration supplémentaire des performances. Des études d'ablation approfondies démontrent l'efficacité de CTCD, et le petit modèle distillé par CTCD surpasse le modèle original plus grand par une marge significative de 1,66 sur le benchmark GLUE.

English

Knowledge Distillation (KD) compresses computationally expensive pre-trained language models (PLMs) by transferring their knowledge to smaller models, allowing their use in resource-constrained or real-time settings. However, most smaller models fail to surpass the performance of the original larger model, resulting in sacrificing performance to improve inference speed. To address this issue, we propose Co-Training and Co-Distillation (CTCD), a novel framework that improves performance and inference speed together by co-training two models while mutually distilling knowledge. The CTCD framework successfully achieves this based on two significant findings: 1) Distilling knowledge from the smaller model to the larger model during co-training improves the performance of the larger model. 2) The enhanced performance of the larger model further boosts the performance of the smaller model. The CTCD framework shows promise as it can be combined with existing techniques like architecture design or data augmentation, replacing one-way KD methods, to achieve further performance improvement. Extensive ablation studies demonstrate the effectiveness of CTCD, and the small model distilled by CTCD outperforms the original larger model by a significant margin of 1.66 on the GLUE benchmark.