Игра дистилляции: адаптивные атаки и эффективные защиты

Аннотация

Атаки дистилляции создают компромисс при развертывании для поставщиков моделей: одни и те же выходные данные, которые делают модель более полезной, также могут облегчить её имитацию. Мы изучаем этот компромисс через минимаксную игру между учителем с ограничением полезности и адаптивным студентом. Предложенная нами схема даёт разрешимые односторонние правила реагирования: адаптивное правило оценки, в котором студент перевзвешивает высокоценные примеры, и шаблон защиты со стороны учителя, подавляющий выходные данные, наиболее полезные для дистилляции. На основе дешёвого прокси ценности примеров мы выводим произведение экспертов (Product-of-Experts, PoE) — простую защиту, требующую только прямого прохода, которая во время генерации комбинирует учителя с прокси-студентом. Эмпирически адаптивная оценка выявляет значительный разрыв между пассивным и адаптивным подходами: на современных методах защиты адаптивные студенты восстанавливают гораздо больше способностей, чем предполагает пассивная оценка на наборах данных GSM8K и MATH. В условиях такой более строгой оценки кажущийся разрыв в устойчивости между дорогими методами защиты и PoE существенно сокращается, при этом PoE остаётся значительно дешевле и сохраняет более качественные цепочки рассуждений. В целом наши результаты показывают, что сильную дистилляцию трудно остановить, и прогресс в противодействии дистилляции следует оценивать на основе адаптивных студентов, а не пассивных. Наш код доступен по адресу: https://github.com/ysfalh/distillation-game.

English

Distillation attacks create a deployment trade-off for model providers: the same outputs that make a model more useful can also make it easier to imitate. We study this trade-off through a minimax game between a utility-constrained teacher and an adaptive student. Our framework yields tractable one-sided response rules: an adaptive evaluation rule in which the student reweights high-value examples, and a teacher-side defense template that suppresses outputs most useful for distillation. From a cheap proxy for example value, we derive Product-of-Experts (PoE), a simple forward-pass-only defense that combines the teacher with a proxy student during generation. Empirically, adaptive evaluation reveals a large passive--adaptive gap: on state-of-the-art defenses, adaptive students recover substantially more capability than passive evaluation suggests on GSM8K and MATH. Under this stronger evaluation, the apparent robustness gap between expensive defenses and PoE narrows considerably, while PoE remains substantially cheaper and preserves higher-quality reasoning traces. Overall, our results suggest that strong distillation remains difficult to stop, and that progress on antidistillation should be judged against adaptive students rather than passive ones. Our code is available at: https://github.com/ysfalh/distillation-game.