Безопасность больших языковых моделей изнутри: обнаружение вредоносного контента с помощью внутренних представлений

LLM Safety From Within: Detecting Harmful Content with Internal Representations

April 20, 2026

Авторы: Difan Jiao, Yilun Liu, Ye Yuan, Zhenwei Tang, Linfeng Du, Haolun Wu, Ashton Anderson

cs.AI

Аннотация

Модели-стражники широко используются для выявления вредоносного контента в пользовательских запросах и ответах больших языковых моделей (LLM). Однако современные модели-стражники полагаются исключительно на терминальные представления и игнорируют богатые признаки, связанные с безопасностью, распределенные по внутренним слоям. Мы представляем SIREN — облегченную модель-стражник, которая использует эти внутренние признаки. Путем идентификации нейронов безопасности с помощью линейного зондирования и их комбинирования через адаптивную стратегию взвешивания слоев, SIREN строит детектор вредоносности из внутренних состояний LLM без модификации базовой модели. Наше комплексное оценивание показывает, что SIREN существенно превосходит современные модели-стражники с открытым исходным кодом на множестве тестовых наборов, используя при этом в 250 раз меньше обучаемых параметров. Более того, SIREN демонстрирует превосходную обобщающую способность на незнакомых наборах данных, естественным образом позволяет проводить обнаружение в реальном времени в потоковом режиме и значительно повышает эффективность вывода по сравнению с генеративными моделями-стражниками. В целом, наши результаты подчеркивают внутренние состояния LLM как перспективную основу для практического и высокопроизводительного обнаружения вредоносного контента.

English

Guard models are widely used to detect harmful content in user prompts and LLM responses. However, state-of-the-art guard models rely solely on terminal-layer representations and overlook the rich safety-relevant features distributed across internal layers. We present SIREN, a lightweight guard model that harnesses these internal features. By identifying safety neurons via linear probing and combining them through an adaptive layer-weighted strategy, SIREN builds a harmfulness detector from LLM internals without modifying the underlying model. Our comprehensive evaluation shows that SIREN substantially outperforms state-of-the-art open-source guard models across multiple benchmarks while using 250 times fewer trainable parameters. Moreover, SIREN exhibits superior generalization to unseen benchmarks, naturally enables real-time streaming detection, and significantly improves inference efficiency compared to generative guard models. Overall, our results highlight LLM internal states as a promising foundation for practical, high-performance harmfulness detection.