Le Jeu de Distillation : Attaques Adaptatives et Défenses Efficaces

Résumé

Les attaques par distillation créent un compromis de déploiement pour les fournisseurs de modèles : les mêmes sorties qui rendent un modèle plus utile peuvent également faciliter son imitation. Nous étudions ce compromis à travers un jeu minimax entre un enseignant contraint par l’utilité et un étudiant adaptatif. Notre cadre fournit des règles de réponse unilatérales exploitables : une règle d’évaluation adaptative où l’étudiant repondère les exemples de grande valeur, et un modèle de défense côté enseignant qui supprime les sorties les plus utiles pour la distillation. À partir d’un proxy bon marché de la valeur des exemples, nous dérivons Product-of-Experts (PoE), une défense simple ne nécessitant qu’un passage avant, qui combine l’enseignant avec un étudiant proxy lors de la génération. Empiriquement, l’évaluation adaptative révèle un grand écart passif-adaptatif : sur les défenses les plus récentes, les étudiants adaptatifs récupèrent significativement plus de capacités que ce que suggère l’évaluation passive sur GSM8K et MATH. Sous cette évaluation plus forte, l’écart apparent de robustesse entre les défenses coûteuses et PoE se réduit considérablement, tandis que PoE reste nettement moins cher et préserve des traces de raisonnement de meilleure qualité. Dans l’ensemble, nos résultats suggèrent qu’il est difficile d’empêcher une distillation forte, et que les progrès en matière d’anti-distillation devraient être jugés par rapport à des étudiants adaptatifs plutôt que passifs. Notre code est disponible à l’adresse : https://github.com/ysfalh/distillation-game.

English

Distillation attacks create a deployment trade-off for model providers: the same outputs that make a model more useful can also make it easier to imitate. We study this trade-off through a minimax game between a utility-constrained teacher and an adaptive student. Our framework yields tractable one-sided response rules: an adaptive evaluation rule in which the student reweights high-value examples, and a teacher-side defense template that suppresses outputs most useful for distillation. From a cheap proxy for example value, we derive Product-of-Experts (PoE), a simple forward-pass-only defense that combines the teacher with a proxy student during generation. Empirically, adaptive evaluation reveals a large passive--adaptive gap: on state-of-the-art defenses, adaptive students recover substantially more capability than passive evaluation suggests on GSM8K and MATH. Under this stronger evaluation, the apparent robustness gap between expensive defenses and PoE narrows considerably, while PoE remains substantially cheaper and preserves higher-quality reasoning traces. Overall, our results suggest that strong distillation remains difficult to stop, and that progress on antidistillation should be judged against adaptive students rather than passive ones. Our code is available at: https://github.com/ysfalh/distillation-game.