O Jogo da Destilação: Ataques Adaptativos e Defesas Eficientes

Resumo

Os ataques de destilação criam um dilema de implantação para provedores de modelos: as mesmas saídas que tornam um modelo mais útil também podem facilitar sua imitação. Estudamos esse dilema por meio de um jogo minimax entre um professor com restrição de utilidade e um aluno adaptativo. Nosso arcabouço gera regras de resposta unilaterais tratáveis: uma regra de avaliação adaptativa na qual o aluno repondera exemplos de alto valor, e um modelo de defesa no lado do professor que suprime as saídas mais úteis para destilação. A partir de um proxy barato para o valor do exemplo, derivamos Product-of-Experts (PoE), uma defesa simples que opera apenas com passagem direta, combinando o professor com um aluno proxy durante a geração. Empiricamente, a avaliação adaptativa revela um grande hiato passivo-adaptativo: em defesas de última geração, alunos adaptativos recuperam substancialmente mais capacidade do que a avaliação passiva sugere no GSM8K e MATH. Sob essa avaliação mais forte, o aparente hiato de robustez entre defesas caras e o PoE se reduz consideravelmente, enquanto o PoE permanece substancialmente mais barato e preserva cadeias de raciocínio de maior qualidade. No geral, nossos resultados sugerem que a destilação forte continua difícil de impedir, e que o progresso na antidestilação deve ser julgado em relação a alunos adaptativos, e não passivos. Nosso código está disponível em: https://github.com/ysfalh/distillation-game.

English

Distillation attacks create a deployment trade-off for model providers: the same outputs that make a model more useful can also make it easier to imitate. We study this trade-off through a minimax game between a utility-constrained teacher and an adaptive student. Our framework yields tractable one-sided response rules: an adaptive evaluation rule in which the student reweights high-value examples, and a teacher-side defense template that suppresses outputs most useful for distillation. From a cheap proxy for example value, we derive Product-of-Experts (PoE), a simple forward-pass-only defense that combines the teacher with a proxy student during generation. Empirically, adaptive evaluation reveals a large passive--adaptive gap: on state-of-the-art defenses, adaptive students recover substantially more capability than passive evaluation suggests on GSM8K and MATH. Under this stronger evaluation, the apparent robustness gap between expensive defenses and PoE narrows considerably, while PoE remains substantially cheaper and preserves higher-quality reasoning traces. Overall, our results suggest that strong distillation remains difficult to stop, and that progress on antidistillation should be judged against adaptive students rather than passive ones. Our code is available at: https://github.com/ysfalh/distillation-game.