Zwarte-Doos On-Policy Destillatie van Grote Taalmodellen
Black-Box On-Policy Distillation of Large Language Models
November 13, 2025
Auteurs: Tianzhu Ye, Li Dong, Zewen Chi, Xun Wu, Shaohan Huang, Furu Wei
cs.AI
Samenvatting
Black-box distillatie creëert student-large language models (LLM's) door uitsluitend te leren van de tekstoutputs van een propriëtaire leraar-model, zonder toegang tot diens interne logits of parameters. In dit werk introduceren we Generative Adversarial Distillation (GAD), wat on-policy en black-box distillatie mogelijk maakt. GAD positioneert de student-LLM als een generator en traint een discriminator om diens antwoorden te onderscheiden van die van de leraar-LLM, waardoor een minimax-spel ontstaat. De discriminator fungeert als een on-policy beloningsmodel dat co-evolueert met de student, waardoor stabiele, adaptieve feedback ontstaat. Experimentele resultaten tonen aan dat GAD consistent de veelgebruikte sequence-level knowledge distillation overtreft. In het bijzonder wordt Qwen2.5-14B-Instruct (student), getraind met GAD, vergelijkbaar met zijn leraar, GPT-5-Chat, in de LMSYS-Chat automatische evaluatie. De resultaten positioneren GAD als een veelbelovend en effectief paradigma voor black-box LLM-distillatie.
English
Black-box distillation creates student large language models (LLMs) by learning from a proprietary teacher model's text outputs alone, without access to its internal logits or parameters. In this work, we introduce Generative Adversarial Distillation (GAD), which enables on-policy and black-box distillation. GAD frames the student LLM as a generator and trains a discriminator to distinguish its responses from the teacher LLM's, creating a minimax game. The discriminator acts as an on-policy reward model that co-evolves with the student, providing stable, adaptive feedback. Experimental results show that GAD consistently surpasses the commonly used sequence-level knowledge distillation. In particular, Qwen2.5-14B-Instruct (student) trained with GAD becomes comparable to its teacher, GPT-5-Chat, on the LMSYS-Chat automatic evaluation. The results establish GAD as a promising and effective paradigm for black-box LLM distillation.