Co-entrenamiento y Co-destilación para la Mejora de la Calidad y Compresión de Modelos de Lenguaje

Co-training and Co-distillation for Quality Improvement and Compression of Language Models

November 6, 2023

Autores: Hayeon Lee, Rui Hou, Jongpil Kim, Davis Liang, Hongbo Zhang, Sung Ju Hwang, Alexander Min

cs.AI

Resumen

La Distilación de Conocimiento (KD, por sus siglas en inglés) comprime modelos de lenguaje preentrenados (PLMs) computacionalmente costosos al transferir su conocimiento a modelos más pequeños, permitiendo su uso en entornos con recursos limitados o en tiempo real. Sin embargo, la mayoría de los modelos más pequeños no logran superar el rendimiento del modelo original más grande, lo que resulta en un sacrificio de rendimiento para mejorar la velocidad de inferencia. Para abordar este problema, proponemos Entrenamiento Conjunto y Distilación Conjunta (CTCD, por sus siglas en inglés), un marco novedoso que mejora tanto el rendimiento como la velocidad de inferencia al entrenar conjuntamente dos modelos mientras se distila conocimiento de manera mutua. El marco CTCD logra esto con base en dos hallazgos significativos: 1) La distilación de conocimiento del modelo más pequeño al modelo más grande durante el entrenamiento conjunto mejora el rendimiento del modelo más grande. 2) El rendimiento mejorado del modelo más grande impulsa aún más el rendimiento del modelo más pequeño. El marco CTCD muestra potencial, ya que puede combinarse con técnicas existentes como el diseño de arquitecturas o la aumentación de datos, reemplazando métodos de KD unidireccionales, para lograr una mejora adicional en el rendimiento. Estudios de ablación extensos demuestran la efectividad de CTCD, y el modelo pequeño distilado por CTCD supera al modelo original más grande por un margen significativo de 1.66 en el benchmark GLUE.

English

Knowledge Distillation (KD) compresses computationally expensive pre-trained language models (PLMs) by transferring their knowledge to smaller models, allowing their use in resource-constrained or real-time settings. However, most smaller models fail to surpass the performance of the original larger model, resulting in sacrificing performance to improve inference speed. To address this issue, we propose Co-Training and Co-Distillation (CTCD), a novel framework that improves performance and inference speed together by co-training two models while mutually distilling knowledge. The CTCD framework successfully achieves this based on two significant findings: 1) Distilling knowledge from the smaller model to the larger model during co-training improves the performance of the larger model. 2) The enhanced performance of the larger model further boosts the performance of the smaller model. The CTCD framework shows promise as it can be combined with existing techniques like architecture design or data augmentation, replacing one-way KD methods, to achieve further performance improvement. Extensive ablation studies demonstrate the effectiveness of CTCD, and the small model distilled by CTCD outperforms the original larger model by a significant margin of 1.66 on the GLUE benchmark.