DistiLLM-2: Un Approccio Contrastivo Potenzia la Distillazione dei Modelli Linguistici di Grande Dimensione

DistiLLM-2: A Contrastive Approach Boosts the Distillation of LLMs

March 10, 2025

Autori: Jongwoo Ko, Tianyi Chen, Sungnyun Kim, Tianyu Ding, Luming Liang, Ilya Zharkov, Se-Young Yun

cs.AI

Abstract

Nonostante il successo della distillazione nei grandi modelli linguistici (LLM), la maggior parte dei lavori precedenti applica funzioni di perdita identiche sia ai dati generati dal docente che a quelli generati dallo studente. Queste strategie trascurano la sinergia tra le formulazioni della perdita e i tipi di dati, portando a un miglioramento subottimale delle prestazioni nei modelli studente. Per affrontare questo problema, proponiamo DistiLLM-2, un approccio contrastivo che aumenta simultaneamente la probabilità delle risposte del docente e diminuisce quella delle risposte dello studente sfruttando questa sinergia. I nostri ampi esperimenti dimostrano che DistiLLM-2 non solo costruisce modelli studente ad alte prestazioni in un'ampia gamma di compiti, tra cui il seguire istruzioni e la generazione di codice, ma supporta anche diverse applicazioni, come l'allineamento delle preferenze e le estensioni visione-linguaggio. Questi risultati evidenziano il potenziale di un approccio contrastivo per migliorare l'efficacia della distillazione degli LLM allineando efficacemente i modelli docente e studente su vari tipi di dati.

English

Despite the success of distillation in large language models (LLMs), most prior work applies identical loss functions to both teacher- and student-generated data. These strategies overlook the synergy between loss formulations and data types, leading to a suboptimal performance boost in student models. To address this, we propose DistiLLM-2, a contrastive approach that simultaneously increases the likelihood of teacher responses and decreases that of student responses by harnessing this synergy. Our extensive experiments show that DistiLLM-2 not only builds high-performing student models across a wide range of tasks, including instruction-following and code generation, but also supports diverse applications, such as preference alignment and vision-language extensions. These findings highlight the potential of a contrastive approach to enhance the efficacy of LLM distillation by effectively aligning teacher and student models across varied data types.