DistiLLM-2: Een contrastieve benadering verbetert de distillatie van LLM's

DistiLLM-2: A Contrastive Approach Boosts the Distillation of LLMs

March 10, 2025

Auteurs: Jongwoo Ko, Tianyi Chen, Sungnyun Kim, Tianyu Ding, Luming Liang, Ilya Zharkov, Se-Young Yun

cs.AI

Samenvatting

Ondanks het succes van distillatie in grote taalmodellen (LLM's), passen de meeste eerdere onderzoeken identieke verliesfuncties toe op zowel door de leraar als door de leerling gegenereerde data. Deze strategieën negeren de synergie tussen verliesformuleringen en datatypes, wat leidt tot een suboptimale prestatieverbetering in leerlingmodellen. Om dit aan te pakken, stellen we DistiLLM-2 voor, een contrastieve benadering die tegelijkertijd de waarschijnlijkheid van lerarenreacties verhoogt en die van leerlingreacties verlaagt door gebruik te maken van deze synergie. Onze uitgebreide experimenten tonen aan dat DistiLLM-2 niet alleen hoogpresterende leerlingmodellen bouwt voor een breed scala aan taken, waaronder instructievolgen en codegeneratie, maar ook diverse toepassingen ondersteunt, zoals voorkeursuitlijning en visie-taal-extensies. Deze bevindingen benadrukken het potentieel van een contrastieve benadering om de effectiviteit van LLM-distillatie te vergroten door leraren- en leerlingmodellen effectief uit te lijnen over verschillende datatypes.

English

Despite the success of distillation in large language models (LLMs), most prior work applies identical loss functions to both teacher- and student-generated data. These strategies overlook the synergy between loss formulations and data types, leading to a suboptimal performance boost in student models. To address this, we propose DistiLLM-2, a contrastive approach that simultaneously increases the likelihood of teacher responses and decreases that of student responses by harnessing this synergy. Our extensive experiments show that DistiLLM-2 not only builds high-performing student models across a wide range of tasks, including instruction-following and code generation, but also supports diverse applications, such as preference alignment and vision-language extensions. These findings highlight the potential of a contrastive approach to enhance the efficacy of LLM distillation by effectively aligning teacher and student models across varied data types.