대규모 언어 모델의 블랙박스 온-정책 디스틸레이션

초록

블랙박스 증류는 독점적인 교사 모델의 내부 로짓이나 매개변수에 접근하지 않고 텍스트 출력만으로 학습하여 학생 대규모 언어 모델(LLM)을 생성합니다. 본 연구에서는 온-정책 및 블랙박스 증류를 가능하게 하는 생성적 적대 증류(GAD)를 소개합니다. GAD는 학생 LLM을 생성기로 설정하고, 판별기를 훈련시켜 학생의 응답과 교사 LLM의 응답을 구분하는 미니맥스 게임을 구성합니다. 판별기는 학생과 함께 공진화하는 온-정책 보상 모델 역할을 하여 안정적이고 적응적인 피드백을 제공합니다. 실험 결과에 따르면 GAD는 일반적으로 사용되는 시퀀스 수준 지식 증류를 지속적으로 능가합니다. 특히, GAD로 훈련된 Qwen2.5-14B-Instruct(학생)는 LMSYS-Chat 자동 평가에서 교사 모델인 GPT-5-Chat에 버금가는 성능을 보입니다. 이러한 결과는 GAD가 블랙박스 LLM 증류를 위한 유망하고 효과적인 패러다임임을 입증합니다.

English

Black-box distillation creates student large language models (LLMs) by learning from a proprietary teacher model's text outputs alone, without access to its internal logits or parameters. In this work, we introduce Generative Adversarial Distillation (GAD), which enables on-policy and black-box distillation. GAD frames the student LLM as a generator and trains a discriminator to distinguish its responses from the teacher LLM's, creating a minimax game. The discriminator acts as an on-policy reward model that co-evolves with the student, providing stable, adaptive feedback. Experimental results show that GAD consistently surpasses the commonly used sequence-level knowledge distillation. In particular, Qwen2.5-14B-Instruct (student) trained with GAD becomes comparable to its teacher, GPT-5-Chat, on the LMSYS-Chat automatic evaluation. The results establish GAD as a promising and effective paradigm for black-box LLM distillation.

대규모 언어 모델의 블랙박스 온-정책 디스틸레이션

Black-Box On-Policy Distillation of Large Language Models

초록

Support