言語モデルの品質向上と圧縮のための共同学習と共蒸留

Co-training and Co-distillation for Quality Improvement and Compression of Language Models

November 6, 2023

著者: Hayeon Lee, Rui Hou, Jongpil Kim, Davis Liang, Hongbo Zhang, Sung Ju Hwang, Alexander Min

cs.AI

要旨

知識蒸留（KD）は、計算コストが高い事前学習済み言語モデル（PLM）の知識をより小さなモデルに転送することで、リソースが制約された環境やリアルタイム設定での使用を可能にします。しかし、ほとんどの小さなモデルは、元の大きなモデルの性能を超えることができず、推論速度を向上させるために性能を犠牲にする結果となっています。この問題に対処するため、我々はCo-Training and Co-Distillation（CTCD）という新しいフレームワークを提案します。このフレームワークは、2つのモデルを共同で訓練しながら相互に知識を蒸留することで、性能と推論速度を同時に向上させます。CTCDフレームワークは、以下の2つの重要な発見に基づいてこれを成功させています：1）共同訓練中に小さなモデルから大きなモデルに知識を蒸留することで、大きなモデルの性能が向上します。2）大きなモデルの性能が向上することで、さらに小さなモデルの性能が向上します。CTCDフレームワークは、アーキテクチャ設計やデータ拡張などの既存の技術と組み合わせて、一方向のKD手法を置き換えることで、さらなる性能向上を達成できる可能性を示しています。広範なアブレーション研究により、CTCDの有効性が実証され、CTCDによって蒸留された小さなモデルは、GLUEベンチマークにおいて元の大きなモデルを1.66ポイントという大きな差で上回りました。

English

Knowledge Distillation (KD) compresses computationally expensive pre-trained language models (PLMs) by transferring their knowledge to smaller models, allowing their use in resource-constrained or real-time settings. However, most smaller models fail to surpass the performance of the original larger model, resulting in sacrificing performance to improve inference speed. To address this issue, we propose Co-Training and Co-Distillation (CTCD), a novel framework that improves performance and inference speed together by co-training two models while mutually distilling knowledge. The CTCD framework successfully achieves this based on two significant findings: 1) Distilling knowledge from the smaller model to the larger model during co-training improves the performance of the larger model. 2) The enhanced performance of the larger model further boosts the performance of the smaller model. The CTCD framework shows promise as it can be combined with existing techniques like architecture design or data augmentation, replacing one-way KD methods, to achieve further performance improvement. Extensive ablation studies demonstrate the effectiveness of CTCD, and the small model distilled by CTCD outperforms the original larger model by a significant margin of 1.66 on the GLUE benchmark.