DistiLLM-2 : Une approche contrastive améliore la distillation des modèles de langage de grande taille

DistiLLM-2: A Contrastive Approach Boosts the Distillation of LLMs

March 10, 2025

Auteurs: Jongwoo Ko, Tianyi Chen, Sungnyun Kim, Tianyu Ding, Luming Liang, Ilya Zharkov, Se-Young Yun

cs.AI

Résumé

Malgré le succès de la distillation dans les grands modèles de langage (LLM), la plupart des travaux antérieurs appliquent des fonctions de perte identiques aux données générées par l'enseignant et l'élève. Ces stratégies négligent la synergie entre les formulations de perte et les types de données, ce qui entraîne une amélioration sous-optimale des performances des modèles élèves. Pour remédier à cela, nous proposons DistiLLM-2, une approche contrastive qui augmente simultanément la probabilité des réponses de l'enseignant et diminue celle des réponses de l'élève en exploitant cette synergie. Nos expériences approfondies montrent que DistiLLM-2 non seulement construit des modèles élèves performants sur une large gamme de tâches, y compris le suivi d'instructions et la génération de code, mais soutient également des applications variées, telles que l'alignement des préférences et les extensions vision-langage. Ces résultats mettent en lumière le potentiel d'une approche contrastive pour améliorer l'efficacité de la distillation des LLM en alignant efficacement les modèles enseignant et élève sur différents types de données.

English

Despite the success of distillation in large language models (LLMs), most prior work applies identical loss functions to both teacher- and student-generated data. These strategies overlook the synergy between loss formulations and data types, leading to a suboptimal performance boost in student models. To address this, we propose DistiLLM-2, a contrastive approach that simultaneously increases the likelihood of teacher responses and decreases that of student responses by harnessing this synergy. Our extensive experiments show that DistiLLM-2 not only builds high-performing student models across a wide range of tasks, including instruction-following and code generation, but also supports diverse applications, such as preference alignment and vision-language extensions. These findings highlight the potential of a contrastive approach to enhance the efficacy of LLM distillation by effectively aligning teacher and student models across varied data types.