Muestreo por Antidestilación

Antidistillation Sampling

April 17, 2025

Autores: Yash Savani, Asher Trockman, Zhili Feng, Avi Schwarzschild, Alexander Robey, Marc Finzi, J. Zico Kolter

cs.AI

Resumen

Los modelos de frontera que generan trazas de razonamiento extendido producen inadvertidamente secuencias de tokens ricas que pueden facilitar la destilación de modelos. Al reconocer esta vulnerabilidad, los propietarios de modelos pueden buscar estrategias de muestreo que limiten la efectividad de la destilación sin comprometer el rendimiento del modelo. El muestreo antidestilación proporciona precisamente esta capacidad. Al modificar estratégicamente la distribución de probabilidad del siguiente token de un modelo, el muestreo antidestilación envenena las trazas de razonamiento, haciéndolas significativamente menos efectivas para la destilación mientras se preserva la utilidad práctica del modelo. Para más detalles, consulte https://antidistillation.com.

English

Frontier models that generate extended reasoning traces inadvertently produce rich token sequences that can facilitate model distillation. Recognizing this vulnerability, model owners may seek sampling strategies that limit the effectiveness of distillation without compromising model performance. Antidistillation sampling provides exactly this capability. By strategically modifying a model's next-token probability distribution, antidistillation sampling poisons reasoning traces, rendering them significantly less effective for distillation while preserving the model's practical utility. For further details, see https://antidistillation.com.