El juego de la destilación: ataques adaptativos y defensas eficientes

Resumen

Los ataques de destilación crean un compromiso de despliegue para los proveedores de modelos: las mismas salidas que hacen que un modelo sea más útil también pueden facilitar su imitación. Estudiamos este compromiso mediante un juego minimax entre un profesor con restricciones de utilidad y un estudiante adaptativo. Nuestro marco produce reglas de respuesta unilaterales tratables: una regla de evaluación adaptativa en la que el estudiante repondera ejemplos de alto valor, y una plantilla de defensa del lado del profesor que suprime las salidas más útiles para la destilación. A partir de un proxy económico del valor del ejemplo, derivamos Product-of-Experts (PoE), una defensa simple de solo paso hacia adelante que combina al profesor con un estudiante proxy durante la generación. Empíricamente, la evaluación adaptativa revela una gran brecha pasivo-adaptativa: en las defensas de última generación, los estudiantes adaptativos recuperan significativamente más capacidad de lo que sugiere la evaluación pasiva en GSM8K y MATH. Bajo esta evaluación más fuerte, la brecha aparente de robustez entre las defensas costosas y PoE se reduce considerablemente, mientras que PoE sigue siendo sustancialmente más barato y preserva trazas de razonamiento de mayor calidad. En general, nuestros resultados sugieren que la destilación fuerte sigue siendo difícil de detener, y que el progreso en la anti-destilación debería juzgarse comparando con estudiantes adaptativos en lugar de pasivos. Nuestro código está disponible en: https://github.com/ysfalh/distillation-game.

English

Distillation attacks create a deployment trade-off for model providers: the same outputs that make a model more useful can also make it easier to imitate. We study this trade-off through a minimax game between a utility-constrained teacher and an adaptive student. Our framework yields tractable one-sided response rules: an adaptive evaluation rule in which the student reweights high-value examples, and a teacher-side defense template that suppresses outputs most useful for distillation. From a cheap proxy for example value, we derive Product-of-Experts (PoE), a simple forward-pass-only defense that combines the teacher with a proxy student during generation. Empirically, adaptive evaluation reveals a large passive--adaptive gap: on state-of-the-art defenses, adaptive students recover substantially more capability than passive evaluation suggests on GSM8K and MATH. Under this stronger evaluation, the apparent robustness gap between expensive defenses and PoE narrows considerably, while PoE remains substantially cheaper and preserves higher-quality reasoning traces. Overall, our results suggest that strong distillation remains difficult to stop, and that progress on antidistillation should be judged against adaptive students rather than passive ones. Our code is available at: https://github.com/ysfalh/distillation-game.