Совместное обучение и совместная дистилляция для повышения качества и сжатия языковых моделей

Co-training and Co-distillation for Quality Improvement and Compression of Language Models

November 6, 2023

Авторы: Hayeon Lee, Rui Hou, Jongpil Kim, Davis Liang, Hongbo Zhang, Sung Ju Hwang, Alexander Min

cs.AI

Аннотация

Дистилляция знаний (Knowledge Distillation, KD) сжимает вычислительно затратные предобученные языковые модели (PLM), передавая их знания более компактным моделям, что позволяет использовать их в условиях ограниченных ресурсов или в режиме реального времени. Однако большинство компактных моделей не превосходят по производительности исходные крупные модели, что приводит к компромиссу между производительностью и скоростью вывода. Для решения этой проблемы мы предлагаем Co-Training and Co-Distillation (CTCD) — новый фреймворк, который одновременно улучшает производительность и скорость вывода за счет совместного обучения двух моделей с взаимной дистилляцией знаний. Фреймворк CTCD успешно достигает этого благодаря двум важным выводам: 1) Дистилляция знаний от компактной модели к крупной модели в процессе совместного обучения улучшает производительность крупной модели. 2) Улучшенная производительность крупной модели дополнительно повышает производительность компактной модели. Фреймворк CTCD демонстрирует потенциал, так как может быть объединен с существующими методами, такими как проектирование архитектуры или аугментация данных, заменяя односторонние методы KD, для достижения дальнейшего улучшения производительности. Обширные абляционные исследования подтверждают эффективность CTCD, а компактная модель, полученная с помощью CTCD, превосходит исходную крупную модель на значительную величину в 1.66 балла на бенчмарке GLUE.

English

Knowledge Distillation (KD) compresses computationally expensive pre-trained language models (PLMs) by transferring their knowledge to smaller models, allowing their use in resource-constrained or real-time settings. However, most smaller models fail to surpass the performance of the original larger model, resulting in sacrificing performance to improve inference speed. To address this issue, we propose Co-Training and Co-Distillation (CTCD), a novel framework that improves performance and inference speed together by co-training two models while mutually distilling knowledge. The CTCD framework successfully achieves this based on two significant findings: 1) Distilling knowledge from the smaller model to the larger model during co-training improves the performance of the larger model. 2) The enhanced performance of the larger model further boosts the performance of the smaller model. The CTCD framework shows promise as it can be combined with existing techniques like architecture design or data augmentation, replacing one-way KD methods, to achieve further performance improvement. Extensive ablation studies demonstrate the effectiveness of CTCD, and the small model distilled by CTCD outperforms the original larger model by a significant margin of 1.66 on the GLUE benchmark.