Tiefe Unwissenheit: Das Filtern von Vortrainingsdaten schützt Open-Weight-LLMs durch manipulationssichere Sicherheitsvorkehrungen.

papers.abstract

Open-Weight-AI-Systeme bieten einzigartige Vorteile, darunter erhöhte Transparenz, offene Forschung und dezentralen Zugang. Sie sind jedoch anfällig für Manipulationsangriffe, die durch die Modifikation von Gewichten oder Aktivitäten effizient schädliche Verhaltensweisen hervorrufen können. Derzeit gibt es noch keine robuste Wissenschaft des Risikomanagements für Open-Weight-Modelle. Bestehende Sicherheits-Fine-Tuning-Methoden und andere Post-Training-Techniken haben Schwierigkeiten, LLMs gegen mehr als ein paar Dutzend Schritte von adversarischem Fine-Tuning resistent zu machen. In diesem Artikel untersuchen wir, ob das Filtern von Texten über Dual-Use-Themen aus den Trainingsdaten unerwünschte Fähigkeiten verhindern und als manipulationsresistenter Schutzmechanismus dienen kann. Wir stellen eine mehrstufige Pipeline für skalierbares Datenfiltering vor und zeigen, dass sie eine praktikable und effektive Methode zur Minimierung von Biothreat-Proxy-Wissen in LLMs bietet. Wir pretrainieren mehrere 6,9-Milliarden-Parameter-Modelle von Grund auf und stellen fest, dass sie eine erhebliche Resistenz gegen adversarische Fine-Tuning-Angriffe bei bis zu 10.000 Schritten und 300 Millionen Tokens von biothreat-bezogenem Text aufweisen – und damit bestehende Post-Training-Baselines um mehr als eine Größenordnung übertreffen – ohne beobachtbare Verschlechterung bei unabhängigen Fähigkeiten. Während gefilterte Modelle jedoch kein internalisiertes gefährliches Wissen besitzen, stellen wir fest, dass sie solche Informationen dennoch nutzen können, wenn sie im Kontext bereitgestellt werden (z. B. über eine Suchtool-Erweiterung), was die Notwendigkeit eines Defense-in-Depth-Ansatzes verdeutlicht. Insgesamt tragen diese Erkenntnisse dazu bei, die Kuratierung von Pretraining-Daten als vielversprechende Verteidigungsschicht für Open-Weight-AI-Systeme zu etablieren.

English

Open-weight AI systems offer unique benefits, including enhanced transparency, open research, and decentralized access. However, they are vulnerable to tampering attacks which can efficiently elicit harmful behaviors by modifying weights or activations. Currently, there is not yet a robust science of open-weight model risk management. Existing safety fine-tuning methods and other post-training techniques have struggled to make LLMs resistant to more than a few dozen steps of adversarial fine-tuning. In this paper, we investigate whether filtering text about dual-use topics from training data can prevent unwanted capabilities and serve as a more tamper-resistant safeguard. We introduce a multi-stage pipeline for scalable data filtering and show that it offers a tractable and effective method for minimizing biothreat proxy knowledge in LLMs. We pretrain multiple 6.9B-parameter models from scratch and find that they exhibit substantial resistance to adversarial fine-tuning attacks on up to 10,000 steps and 300M tokens of biothreat-related text -- outperforming existing post-training baselines by over an order of magnitude -- with no observed degradation to unrelated capabilities. However, while filtered models lack internalized dangerous knowledge, we find that they can still leverage such information when it is provided in context (e.g., via search tool augmentation), demonstrating a need for a defense-in-depth approach. Overall, these findings help to establish pretraining data curation as a promising layer of defense for open-weight AI systems.

Tiefe Unwissenheit: Das Filtern von Vortrainingsdaten schützt Open-Weight-LLMs durch manipulationssichere Sicherheitsvorkehrungen.

Deep Ignorance: Filtering Pretraining Data Builds Tamper-Resistant Safeguards into Open-Weight LLMs

papers.abstract

Support