Diepe Onwetendheid: Het Filteren van Pretrainingsgegevens Bouwt Manipulatiebestendige Beveiligingen in Open-Gewicht LLMs

Samenvatting

Open-weight AI-systemen bieden unieke voordelen, waaronder verbeterde transparantie, open onderzoek en gedecentraliseerde toegang. Ze zijn echter kwetsbaar voor manipulatie-aanvallen die efficiënt schadelijk gedrag kunnen uitlokken door gewichten of activeringen aan te passen. Momenteel ontbreekt er nog een robuuste wetenschap van risicobeheer voor open-weight modellen. Bestaande methoden voor veiligheidsfine-tuning en andere post-trainings technieken hebben moeite gehad om LLM's bestand te maken tegen meer dan enkele tientallen stappen van adversariële fine-tuning. In dit artikel onderzoeken we of het filteren van tekst over dual-use onderwerpen uit trainingsdata ongewenste capaciteiten kan voorkomen en kan dienen als een meer manipulatiebestendige beveiliging. We introduceren een meerfasenpijplijn voor schaalbare datafiltering en tonen aan dat dit een uitvoerbare en effectieve methode biedt om biothreat-proxykennis in LLM's te minimaliseren. We pretrainen meerdere 6,9B-parameter modellen vanaf nul en constateren dat ze aanzienlijke weerstand vertonen tegen adversariële fine-tuning aanvallen tot 10.000 stappen en 300M tokens van biothreat-gerelateerde tekst – wat bestaande post-trainingsbenchmarks met meer dan een orde van grootte overtreft – zonder waarneembare achteruitgang in niet-gerelateerde capaciteiten. Hoewel gefilterde modellen geen geïnternaliseerde gevaarlijke kennis bevatten, ontdekken we dat ze dergelijke informatie nog steeds kunnen benutten wanneer deze in context wordt aangeboden (bijvoorbeeld via zoektoolaugmentatie), wat de noodzaak aantoont van een diepgaande verdedigingsaanpak. Over het algemeen helpen deze bevindingen om pretrainingsdatacuratie te vestigen als een veelbelovende verdedigingslaag voor open-weight AI-systemen.

English

Open-weight AI systems offer unique benefits, including enhanced transparency, open research, and decentralized access. However, they are vulnerable to tampering attacks which can efficiently elicit harmful behaviors by modifying weights or activations. Currently, there is not yet a robust science of open-weight model risk management. Existing safety fine-tuning methods and other post-training techniques have struggled to make LLMs resistant to more than a few dozen steps of adversarial fine-tuning. In this paper, we investigate whether filtering text about dual-use topics from training data can prevent unwanted capabilities and serve as a more tamper-resistant safeguard. We introduce a multi-stage pipeline for scalable data filtering and show that it offers a tractable and effective method for minimizing biothreat proxy knowledge in LLMs. We pretrain multiple 6.9B-parameter models from scratch and find that they exhibit substantial resistance to adversarial fine-tuning attacks on up to 10,000 steps and 300M tokens of biothreat-related text -- outperforming existing post-training baselines by over an order of magnitude -- with no observed degradation to unrelated capabilities. However, while filtered models lack internalized dangerous knowledge, we find that they can still leverage such information when it is provided in context (e.g., via search tool augmentation), demonstrating a need for a defense-in-depth approach. Overall, these findings help to establish pretraining data curation as a promising layer of defense for open-weight AI systems.

Diepe Onwetendheid: Het Filteren van Pretrainingsgegevens Bouwt Manipulatiebestendige Beveiligingen in Open-Gewicht LLMs

Deep Ignorance: Filtering Pretraining Data Builds Tamper-Resistant Safeguards into Open-Weight LLMs

Samenvatting

Support