Destilação On-Policy de Caixa-Preta para Modelos de Linguagem de Grande Porte
Black-Box On-Policy Distillation of Large Language Models
November 13, 2025
Autores: Tianzhu Ye, Li Dong, Zewen Chi, Xun Wu, Shaohan Huang, Furu Wei
cs.AI
Resumo
A destilação de caixa preta cria modelos de linguagem grandes (LLMs) estudante aprendendo apenas a partir das saídas de texto de um modelo professor proprietário, sem acesso aos seus logits internos ou parâmetros. Neste trabalho, introduzimos a Destilação Generativa Adversarial (GAD), que permite a destilação sob política e em caixa preta. A GAD enquadra o LLM estudante como um gerador e treina um discriminador para distinguir suas respostas das do LLM professor, criando um jogo minimax. O discriminador atua como um modelo de recompensa sob política que co-evolui com o estudante, fornecendo feedback estável e adaptativo. Resultados experimentais mostram que a GAD supera consistentemente a destilação de conhecimento a nível de sequência, comumente utilizada. Em particular, o Qwen2.5-14B-Instruct (estudante) treinado com GAD torna-se comparável ao seu professor, o GPT-5-Chat, na avaliação automática LMSYS-Chat. Os resultados estabelecem a GAD como um paradigma promissor e eficaz para a destilação de LLMs em caixa preta.
English
Black-box distillation creates student large language models (LLMs) by learning from a proprietary teacher model's text outputs alone, without access to its internal logits or parameters. In this work, we introduce Generative Adversarial Distillation (GAD), which enables on-policy and black-box distillation. GAD frames the student LLM as a generator and trains a discriminator to distinguish its responses from the teacher LLM's, creating a minimax game. The discriminator acts as an on-policy reward model that co-evolves with the student, providing stable, adaptive feedback. Experimental results show that GAD consistently surpasses the commonly used sequence-level knowledge distillation. In particular, Qwen2.5-14B-Instruct (student) trained with GAD becomes comparable to its teacher, GPT-5-Chat, on the LMSYS-Chat automatic evaluation. The results establish GAD as a promising and effective paradigm for black-box LLM distillation.