Das Destillationsspiel: Adaptive Angriffe und effiziente Verteidigungen

Zusammenfassung

Distillationsangriffe erzeugen für Modellanbieter eine Einsatzabwägung: Dieselben Ausgaben, die ein Modell nützlicher machen, können es auch leichter nachahmbar machen. Wir untersuchen diese Abwägung mittels eines Minimax-Spiels zwischen einem nutzenbeschränkten Lehrer und einem adaptiven Schüler. Unser Rahmenwerk liefert handhabbare einseitige Antwortregeln: eine adaptive Bewertungsregel, bei der der Schüler hochwertige Beispiele neu gewichtet, und eine lehrerseitige Verteidigungsvorlage, die die für die Destillation nützlichsten Ausgaben unterdrückt. Aus einem günstigen Proxy für den Beispielwert leiten wir Product-of-Experts (PoE) ab, eine einfache, nur auf Vorwärtsdurchläufen basierende Verteidigung, die den Lehrer während der Generierung mit einem Proxy-Schüler kombiniert. Empirisch zeigt die adaptive Bewertung eine große passiv-adaptive Lücke: Bei modernsten Verteidigungen gewinnen adaptive Schüler auf GSM8K und MATH wesentlich mehr Fähigkeiten zurück, als die passive Bewertung vermuten lässt. Unter dieser stärkeren Bewertung verringert sich die scheinbare Robustheitslücke zwischen teuren Verteidigungen und PoE erheblich, während PoE deutlich günstiger bleibt und qualitativ hochwertigere Argumentationsspuren erhält. Insgesamt deuten unsere Ergebnisse darauf hin, dass eine starke Destillation weiterhin schwer zu verhindern ist und dass Fortschritte bei der Antidistillation eher anhand adaptiver als passiver Schüler beurteilt werden sollten. Unser Code ist verfügbar unter: https://github.com/ysfalh/distillation-game.

English

Distillation attacks create a deployment trade-off for model providers: the same outputs that make a model more useful can also make it easier to imitate. We study this trade-off through a minimax game between a utility-constrained teacher and an adaptive student. Our framework yields tractable one-sided response rules: an adaptive evaluation rule in which the student reweights high-value examples, and a teacher-side defense template that suppresses outputs most useful for distillation. From a cheap proxy for example value, we derive Product-of-Experts (PoE), a simple forward-pass-only defense that combines the teacher with a proxy student during generation. Empirically, adaptive evaluation reveals a large passive--adaptive gap: on state-of-the-art defenses, adaptive students recover substantially more capability than passive evaluation suggests on GSM8K and MATH. Under this stronger evaluation, the apparent robustness gap between expensive defenses and PoE narrows considerably, while PoE remains substantially cheaper and preserves higher-quality reasoning traces. Overall, our results suggest that strong distillation remains difficult to stop, and that progress on antidistillation should be judged against adaptive students rather than passive ones. Our code is available at: https://github.com/ysfalh/distillation-game.