Антидистилляционная выборка

Antidistillation Sampling

April 17, 2025

Авторы: Yash Savani, Asher Trockman, Zhili Feng, Avi Schwarzschild, Alexander Robey, Marc Finzi, J. Zico Kolter

cs.AI

Аннотация

Фронтирные модели, генерирующие расширенные цепочки рассуждений, непреднамеренно создают богатые последовательности токенов, которые могут облегчить дистилляцию моделей. Осознавая эту уязвимость, владельцы моделей могут искать стратегии выборки, которые ограничивают эффективность дистилляции, не ухудшая производительность модели. Антидистилляционная выборка предоставляет именно такую возможность. Стратегически изменяя распределение вероятностей следующего токена, антидистилляционная выборка "отравляет" цепочки рассуждений, делая их значительно менее полезными для дистилляции, при этом сохраняя практическую применимость модели. Подробнее см. https://antidistillation.com.

English

Frontier models that generate extended reasoning traces inadvertently produce rich token sequences that can facilitate model distillation. Recognizing this vulnerability, model owners may seek sampling strategies that limit the effectiveness of distillation without compromising model performance. Antidistillation sampling provides exactly this capability. By strategically modifying a model's next-token probability distribution, antidistillation sampling poisons reasoning traces, rendering them significantly less effective for distillation while preserving the model's practical utility. For further details, see https://antidistillation.com.