Глубокая неосведомленность: фильтрация данных предварительного обучения создает устойчивые к вмешательству защитные механизмы в открытых весовых языковых моделях.

Аннотация

Системы ИИ с открытыми весами предлагают уникальные преимущества, включая повышенную прозрачность, открытые исследования и децентрализованный доступ. Однако они уязвимы для атак с подменой данных, которые могут эффективно вызывать вредоносное поведение путем изменения весов или активаций. В настоящее время еще не существует надежной науки управления рисками для моделей с открытыми весами. Существующие методы тонкой настройки безопасности и другие посттренировочные техники не смогли сделать крупные языковые модели (LLM) устойчивыми к более чем нескольким десяткам шагов враждебной тонкой настройки. В данной статье мы исследуем, может ли фильтрация текста на темы двойного назначения из обучающих данных предотвратить нежелательные возможности и служить более устойчивой к подмене защитой. Мы представляем многоэтапный конвейер для масштабируемой фильтрации данных и показываем, что он предлагает осуществимый и эффективный метод минимизации знаний о биологических угрозах в LLM. Мы предварительно обучаем несколько моделей с 6,9 миллиардами параметров с нуля и обнаруживаем, что они демонстрируют значительную устойчивость к атакам враждебной тонкой настройки на протяжении до 10 000 шагов и 300 миллионов токенов текста, связанного с биологическими угрозами, — превосходя существующие посттренировочные базовые методы более чем на порядок — без наблюдаемого ухудшения несвязанных возможностей. Однако, хотя отфильтрованные модели не содержат внутренних опасных знаний, мы обнаруживаем, что они все же могут использовать такую информацию, когда она предоставляется в контексте (например, через расширение поисковыми инструментами), что демонстрирует необходимость многоуровневого подхода к защите. В целом, эти результаты помогают установить курацию данных предварительного обучения как перспективный уровень защиты для систем ИИ с открытыми весами.

English

Open-weight AI systems offer unique benefits, including enhanced transparency, open research, and decentralized access. However, they are vulnerable to tampering attacks which can efficiently elicit harmful behaviors by modifying weights or activations. Currently, there is not yet a robust science of open-weight model risk management. Existing safety fine-tuning methods and other post-training techniques have struggled to make LLMs resistant to more than a few dozen steps of adversarial fine-tuning. In this paper, we investigate whether filtering text about dual-use topics from training data can prevent unwanted capabilities and serve as a more tamper-resistant safeguard. We introduce a multi-stage pipeline for scalable data filtering and show that it offers a tractable and effective method for minimizing biothreat proxy knowledge in LLMs. We pretrain multiple 6.9B-parameter models from scratch and find that they exhibit substantial resistance to adversarial fine-tuning attacks on up to 10,000 steps and 300M tokens of biothreat-related text -- outperforming existing post-training baselines by over an order of magnitude -- with no observed degradation to unrelated capabilities. However, while filtered models lack internalized dangerous knowledge, we find that they can still leverage such information when it is provided in context (e.g., via search tool augmentation), demonstrating a need for a defense-in-depth approach. Overall, these findings help to establish pretraining data curation as a promising layer of defense for open-weight AI systems.

Deep Ignorance: Filtering Pretraining Data Builds Tamper-Resistant Safeguards into Open-Weight LLMs

Аннотация

Support