Ignorancia Profunda: Filtrar Datos de Pretrenamiento Incorpora Salvaguardas Resistentes a la Manipulación en Modelos de Lenguaje de Pesos Abiertos

Deep Ignorance: Filtering Pretraining Data Builds Tamper-Resistant Safeguards into Open-Weight LLMs

August 8, 2025

Autores: Kyle O'Brien, Stephen Casper, Quentin Anthony, Tomek Korbak, Robert Kirk, Xander Davies, Ishan Mishra, Geoffrey Irving, Yarin Gal, Stella Biderman

cs.AI

Resumen

Los sistemas de IA de pesos abiertos ofrecen beneficios únicos, que incluyen mayor transparencia, investigación abierta y acceso descentralizado. Sin embargo, son vulnerables a ataques de manipulación que pueden elicitar eficientemente comportamientos dañinos al modificar pesos o activaciones. Actualmente, aún no existe una ciencia robusta para la gestión de riesgos en modelos de pesos abiertos. Los métodos existentes de ajuste fino de seguridad y otras técnicas posteriores al entrenamiento han tenido dificultades para hacer que los LLM sean resistentes a más de unas pocas decenas de pasos de ajuste fino adversario. En este artículo, investigamos si filtrar texto sobre temas de doble uso en los datos de entrenamiento puede prevenir capacidades no deseadas y servir como una salvaguardia más resistente a la manipulación. Introducimos una canalización de múltiples etapas para el filtrado escalable de datos y demostramos que ofrece un método manejable y efectivo para minimizar el conocimiento proxy relacionado con bioterrorismo en los LLM. Entrenamos desde cero múltiples modelos de 6.9 mil millones de parámetros y encontramos que exhiben una resistencia sustancial a ataques de ajuste fino adversario en hasta 10,000 pasos y 300 millones de tokens de texto relacionado con bioterrorismo, superando los baselines existentes posteriores al entrenamiento en más de un orden de magnitud, sin degradación observada en capacidades no relacionadas. Sin embargo, aunque los modelos filtrados carecen de conocimiento peligroso internalizado, encontramos que aún pueden aprovechar dicha información cuando se proporciona en contexto (por ejemplo, mediante la ampliación de herramientas de búsqueda), lo que demuestra la necesidad de un enfoque de defensa en profundidad. En general, estos hallazgos ayudan a establecer la curación de datos de preentrenamiento como una capa prometedora de defensa para sistemas de IA de pesos abiertos.

English

Open-weight AI systems offer unique benefits, including enhanced transparency, open research, and decentralized access. However, they are vulnerable to tampering attacks which can efficiently elicit harmful behaviors by modifying weights or activations. Currently, there is not yet a robust science of open-weight model risk management. Existing safety fine-tuning methods and other post-training techniques have struggled to make LLMs resistant to more than a few dozen steps of adversarial fine-tuning. In this paper, we investigate whether filtering text about dual-use topics from training data can prevent unwanted capabilities and serve as a more tamper-resistant safeguard. We introduce a multi-stage pipeline for scalable data filtering and show that it offers a tractable and effective method for minimizing biothreat proxy knowledge in LLMs. We pretrain multiple 6.9B-parameter models from scratch and find that they exhibit substantial resistance to adversarial fine-tuning attacks on up to 10,000 steps and 300M tokens of biothreat-related text -- outperforming existing post-training baselines by over an order of magnitude -- with no observed degradation to unrelated capabilities. However, while filtered models lack internalized dangerous knowledge, we find that they can still leverage such information when it is provided in context (e.g., via search tool augmentation), demonstrating a need for a defense-in-depth approach. Overall, these findings help to establish pretraining data curation as a promising layer of defense for open-weight AI systems.