Sécurité des LLM de l'intérieur : Détection des contenus nuisibles via les représentations internes

LLM Safety From Within: Detecting Harmful Content with Internal Representations

April 20, 2026

Auteurs: Difan Jiao, Yilun Liu, Ye Yuan, Zhenwei Tang, Linfeng Du, Haolun Wu, Ashton Anderson

cs.AI

Résumé

Les modèles de garde sont largement utilisés pour détecter le contenu nuisible dans les invites utilisateur et les réponses des LLM. Cependant, les modèles de garde de pointe s'appuient uniquement sur les représentations de la couche terminale et négligent les riches caractéristiques liées à la sécurité réparties dans les couches internes. Nous présentons SIREN, un modèle de garde léger qui exploite ces caractéristiques internes. En identifiant les neurones de sécurité via un sondage linéaire et en les combinant grâce à une stratégie adaptative pondérée par couches, SIREN construit un détecteur de nocivité à partir des états internes des LLM sans modifier le modèle sous-jacent. Notre évaluation exhaustive montre que SIREN surpasse substantiellement les modèles de garde open-source de pointe sur plusieurs benchmarks tout en utilisant 250 fois moins de paramètres entraînables. De plus, SIREN présente une généralisation supérieure sur des benchmarks non vus, permet naturellement une détection en flux temps réel et améliore significativement l'efficacité inférentielle comparé aux modèles de garde génératifs. Globalement, nos résultats soulignent que les états internes des LLM constituent une base prometteuse pour une détection pratique et performante de la nocivité.

English

Guard models are widely used to detect harmful content in user prompts and LLM responses. However, state-of-the-art guard models rely solely on terminal-layer representations and overlook the rich safety-relevant features distributed across internal layers. We present SIREN, a lightweight guard model that harnesses these internal features. By identifying safety neurons via linear probing and combining them through an adaptive layer-weighted strategy, SIREN builds a harmfulness detector from LLM internals without modifying the underlying model. Our comprehensive evaluation shows that SIREN substantially outperforms state-of-the-art open-source guard models across multiple benchmarks while using 250 times fewer trainable parameters. Moreover, SIREN exhibits superior generalization to unseen benchmarks, naturally enables real-time streaming detection, and significantly improves inference efficiency compared to generative guard models. Overall, our results highlight LLM internal states as a promising foundation for practical, high-performance harmfulness detection.