Ignoranza Profonda: Filtrare i Dati di Pretraining Integra Salvaguardie Resistenti alle Manipolazioni nei Modelli Linguistici Open-Weight

Deep Ignorance: Filtering Pretraining Data Builds Tamper-Resistant Safeguards into Open-Weight LLMs

August 8, 2025

Autori: Kyle O'Brien, Stephen Casper, Quentin Anthony, Tomek Korbak, Robert Kirk, Xander Davies, Ishan Mishra, Geoffrey Irving, Yarin Gal, Stella Biderman

cs.AI

Abstract

I sistemi AI open-weight offrono vantaggi unici, tra cui una maggiore trasparenza, ricerca aperta e accesso decentralizzato. Tuttavia, sono vulnerabili ad attacchi di manipolazione che possono efficacemente elicitare comportamenti dannosi modificando pesi o attivazioni. Attualmente, non esiste ancora una scienza robusta della gestione del rischio per i modelli open-weight. I metodi esistenti di fine-tuning per la sicurezza e altre tecniche post-addestramento hanno faticato a rendere i LLM resistenti a più di qualche decina di passi di fine-tuning avversariale. In questo articolo, indaghiamo se il filtraggio di testi relativi a tematiche a duplice uso dai dati di addestramento possa prevenire capacità indesiderate e fungere da salvaguardia più resistente alla manipolazione. Introduciamo una pipeline multi-stadio per il filtraggio scalabile dei dati e dimostriamo che offre un metodo trattabile ed efficace per minimizzare la conoscenza proxy delle minacce biologiche nei LLM. Addestriamo da zero diversi modelli con 6,9 miliardi di parametri e scopriamo che mostrano una sostanziale resistenza agli attacchi di fine-tuning avversariale su fino a 10.000 passi e 300 milioni di token di testo relativo alle minacce biologiche, superando i benchmark post-addestramento esistenti di oltre un ordine di grandezza, senza alcun deterioramento osservato nelle capacità non correlate. Tuttavia, sebbene i modelli filtrati non abbiano internalizzato conoscenze pericolose, scopriamo che possono comunque sfruttare tali informazioni quando vengono fornite nel contesto (ad esempio, tramite l'integrazione di strumenti di ricerca), dimostrando la necessità di un approccio di difesa in profondità. Nel complesso, questi risultati contribuiscono a stabilire la cura dei dati di pre-addestramento come un promettente livello di difesa per i sistemi AI open-weight.

English

Open-weight AI systems offer unique benefits, including enhanced transparency, open research, and decentralized access. However, they are vulnerable to tampering attacks which can efficiently elicit harmful behaviors by modifying weights or activations. Currently, there is not yet a robust science of open-weight model risk management. Existing safety fine-tuning methods and other post-training techniques have struggled to make LLMs resistant to more than a few dozen steps of adversarial fine-tuning. In this paper, we investigate whether filtering text about dual-use topics from training data can prevent unwanted capabilities and serve as a more tamper-resistant safeguard. We introduce a multi-stage pipeline for scalable data filtering and show that it offers a tractable and effective method for minimizing biothreat proxy knowledge in LLMs. We pretrain multiple 6.9B-parameter models from scratch and find that they exhibit substantial resistance to adversarial fine-tuning attacks on up to 10,000 steps and 300M tokens of biothreat-related text -- outperforming existing post-training baselines by over an order of magnitude -- with no observed degradation to unrelated capabilities. However, while filtered models lack internalized dangerous knowledge, we find that they can still leverage such information when it is provided in context (e.g., via search tool augmentation), demonstrating a need for a defense-in-depth approach. Overall, these findings help to establish pretraining data curation as a promising layer of defense for open-weight AI systems.