Co-Training und Co-Distillation zur Qualitätsverbesserung und Kompression von Sprachmodellen

Co-training and Co-distillation for Quality Improvement and Compression of Language Models

November 6, 2023

Autoren: Hayeon Lee, Rui Hou, Jongpil Kim, Davis Liang, Hongbo Zhang, Sung Ju Hwang, Alexander Min

cs.AI

Zusammenfassung

Knowledge Distillation (KD) komprimiert rechenintensive vortrainierte Sprachmodelle (PLMs), indem deren Wissen auf kleinere Modelle übertragen wird, wodurch ihr Einsatz in ressourcenbeschränkten oder Echtzeitumgebungen ermöglicht wird. Die meisten kleineren Modelle übertreffen jedoch nicht die Leistung des ursprünglichen größeren Modells, was dazu führt, dass die Leistung zugunsten einer verbesserten Inferenzgeschwindigkeit geopfert wird. Um dieses Problem zu lösen, schlagen wir Co-Training und Co-Distillation (CTCD) vor, ein neuartiges Framework, das sowohl die Leistung als auch die Inferenzgeschwindigkeit verbessert, indem zwei Modelle gemeinsam trainiert und dabei gegenseitig Wissen destilliert wird. Das CTCD-Framework erreicht dies erfolgreich basierend auf zwei wesentlichen Erkenntnissen: 1) Die Destillation von Wissen vom kleineren Modell zum größeren Modell während des Co-Trainings verbessert die Leistung des größeren Modells. 2) Die gesteigerte Leistung des größeren Modells fördert weiterhin die Leistung des kleineren Modells. Das CTCD-Framework zeigt Potenzial, da es mit bestehenden Techniken wie Architekturdesign oder Datenanreicherung kombiniert werden kann, um einseitige KD-Methoden zu ersetzen und weitere Leistungsverbesserungen zu erzielen. Umfangreiche Ablationsstudien demonstrieren die Wirksamkeit von CTCD, und das durch CTCD destillierte kleine Modell übertrifft das ursprüngliche größere Modell auf dem GLUE-Benchmark um einen signifikanten Wert von 1,66.

English

Knowledge Distillation (KD) compresses computationally expensive pre-trained language models (PLMs) by transferring their knowledge to smaller models, allowing their use in resource-constrained or real-time settings. However, most smaller models fail to surpass the performance of the original larger model, resulting in sacrificing performance to improve inference speed. To address this issue, we propose Co-Training and Co-Distillation (CTCD), a novel framework that improves performance and inference speed together by co-training two models while mutually distilling knowledge. The CTCD framework successfully achieves this based on two significant findings: 1) Distilling knowledge from the smaller model to the larger model during co-training improves the performance of the larger model. 2) The enhanced performance of the larger model further boosts the performance of the smaller model. The CTCD framework shows promise as it can be combined with existing techniques like architecture design or data augmentation, replacing one-way KD methods, to achieve further performance improvement. Extensive ablation studies demonstrate the effectiveness of CTCD, and the small model distilled by CTCD outperforms the original larger model by a significant margin of 1.66 on the GLUE benchmark.