Co-training en Co-distillatie voor Kwaliteitsverbetering en Compressie van Taalmodellen

Co-training and Co-distillation for Quality Improvement and Compression of Language Models

November 6, 2023

Auteurs: Hayeon Lee, Rui Hou, Jongpil Kim, Davis Liang, Hongbo Zhang, Sung Ju Hwang, Alexander Min

cs.AI

Samenvatting

Knowledge Distillation (KD) comprimeert computationeel dure vooraf getrainde taalmodelen (PLMs) door hun kennis over te dragen naar kleinere modellen, waardoor ze kunnen worden gebruikt in omgevingen met beperkte middelen of in real-time toepassingen. De meeste kleinere modellen slagen er echter niet in om de prestaties van het oorspronkelijke grotere model te overtreffen, wat resulteert in het opofferen van prestaties om de inferentiesnelheid te verbeteren. Om dit probleem aan te pakken, stellen we Co-Training en Co-Distillation (CTCD) voor, een nieuw framework dat zowel de prestaties als de inferentiesnelheid verbetert door twee modellen gezamenlijk te trainen en tegelijkertijd kennis onderling te distilleren. Het CTCD-framework bereikt dit succesvol op basis van twee belangrijke bevindingen: 1) Het distilleren van kennis van het kleinere model naar het grotere model tijdens co-training verbetert de prestaties van het grotere model. 2) De verbeterde prestaties van het grotere model versterken op hun beurt de prestaties van het kleinere model. Het CTCD-framework toont veelbelovende resultaten, omdat het kan worden gecombineerd met bestaande technieken zoals architectuurontwerp of data-augmentatie, waarbij het eenrichtings-KD-methoden vervangt om verdere prestatieverbetering te bereiken. Uitgebreide ablatiestudies tonen de effectiviteit van CTCD aan, en het kleine model dat door CTCD is gedistilleerd, overtreft het oorspronkelijke grotere model met een aanzienlijke marge van 1,66 op de GLUE-benchmark.

English

Knowledge Distillation (KD) compresses computationally expensive pre-trained language models (PLMs) by transferring their knowledge to smaller models, allowing their use in resource-constrained or real-time settings. However, most smaller models fail to surpass the performance of the original larger model, resulting in sacrificing performance to improve inference speed. To address this issue, we propose Co-Training and Co-Distillation (CTCD), a novel framework that improves performance and inference speed together by co-training two models while mutually distilling knowledge. The CTCD framework successfully achieves this based on two significant findings: 1) Distilling knowledge from the smaller model to the larger model during co-training improves the performance of the larger model. 2) The enhanced performance of the larger model further boosts the performance of the smaller model. The CTCD framework shows promise as it can be combined with existing techniques like architecture design or data augmentation, replacing one-way KD methods, to achieve further performance improvement. Extensive ablation studies demonstrate the effectiveness of CTCD, and the small model distilled by CTCD outperforms the original larger model by a significant margin of 1.66 on the GLUE benchmark.