Distillazione On-Policy a Scatola Chiusa di Modelli Linguistici di Grandi Dimensioni
Black-Box On-Policy Distillation of Large Language Models
November 13, 2025
Autori: Tianzhu Ye, Li Dong, Zewen Chi, Xun Wu, Shaohan Huang, Furu Wei
cs.AI
Abstract
La distillazione in black-box crea modelli linguistici di grandi dimensioni (LLM) studente apprendendo esclusivamente dagli output testuali di un modello insegnante proprietario, senza accesso ai suoi logit interni o parametri. In questo lavoro, introduciamo la Distillazione Adversariale Generativa (GAD), che abilita una distillazione on-policy e in black-box. GAD inquadra lo studente LLM come generatore e addestra un discriminatore per distinguere le sue risposte da quelle dell'insegnante LLM, creando un gioco minimax. Il discriminatore funge da modello di ricompensa on-policy che co-evolve con lo studente, fornendo un feedback stabile e adattivo. I risultati sperimentali mostrano che GAD supera costantemente la comune distillazione della conoscenza a livello di sequenza. In particolare, Qwen2.5-14B-Instruct (studente) addestrato con GAD diventa comparabile al suo insegnante, GPT-5-Chat, nella valutazione automatica LMSYS-Chat. I risultati stabiliscono GAD come un paradigma promettente ed efficace per la distillazione di LLM in black-box.
English
Black-box distillation creates student large language models (LLMs) by learning from a proprietary teacher model's text outputs alone, without access to its internal logits or parameters. In this work, we introduce Generative Adversarial Distillation (GAD), which enables on-policy and black-box distillation. GAD frames the student LLM as a generator and trains a discriminator to distinguish its responses from the teacher LLM's, creating a minimax game. The discriminator acts as an on-policy reward model that co-evolves with the student, providing stable, adaptive feedback. Experimental results show that GAD consistently surpasses the commonly used sequence-level knowledge distillation. In particular, Qwen2.5-14B-Instruct (student) trained with GAD becomes comparable to its teacher, GPT-5-Chat, on the LMSYS-Chat automatic evaluation. The results establish GAD as a promising and effective paradigm for black-box LLM distillation.