Ce que les couches intermédiaires savent : Détection des jailbreaks à partir des dynamiques d'entropie

Résumé

Les attaques par jailbreak révèdent une faiblesse persistante dans les grands modèles de langage alignés : des prompts soigneusement conçus peuvent susciter des réponses violant les politiques malgré l'entraînement à la sécurité. Alors que la plupart des défenses opèrent au niveau du prompt ou de la sortie, la manière dont l'intention nuisible est encodée dans les représentations internes du modèle reste floue. Nous investiguons cette question en analysant, à l'aide de la lentille logit, les trajectoires d'entropie prédictive au niveau des tokens à travers les couches d'un LLM gelé. Nous constatons que les statistiques agrégées statiques de l'entropie au niveau du prompt (moyenne, variance, etc.) portent peu de signal discriminant, tandis que les caractéristiques capturant l'évolution de l'entropie entre les positions des tokens, comme les scores de tendance monotones basés sur le rang, sont nettement plus informatives. Ce signal n'est pas uniforme selon la profondeur du modèle : il se concentre dans les couches intermédiaires et se dégrade à la couche finale, indiquant que la structure pertinente au jailbreak est la plus prononcée dans les représentations médianes du réseau plutôt qu'à la tête de sortie. Sur plusieurs modèles (Llama, Qwen, Gemma) et benchmarks adversariaux, ces dynamiques d'entropie offrent une séparation cohérente entre architectures, sans nécessiter d'entraînement supplémentaire. Dans l'ensemble, nos résultats montrent que le comportement de jailbreak se reflète dans une dynamique d'incertitude intermédiaire structurée, clarifiant à la fois quelles caractéristiques dérivées de l'entropie encodent l'intention nuisible et où, dans le réseau, ce signal est le plus prononcé.

English

Jailbreak attacks reveal a persistent weakness in aligned Large Language Models: carefully crafted prompts can elicit policy-violating responses despite safety training. While most defenses operate at the prompt or output level, it remains unclear how harmful intent is encoded within the model's internal representations. We investigate this question by analyzing token-level predictive entropy trajectories across layers of a frozen LLM using the logit lens. We find that static aggregate statistics of prompt-level entropy (e.g., mean, variance) carry little discriminative signal, whereas features capturing how entropy evolves across token positions, such as monotonic rank-based trend scores, are substantially more informative. Importantly, this signal is not uniform across model depth: it is concentrated in intermediate layers and degrades at the final layer, indicating that jailbreak-relevant structure is most pronounced in mid-network representations rather than at the output head. Across multiple models (Llama, Qwen, Gemma) and adversarial benchmarks, these entropy dynamics provide architecture-consistent separation without additional training. Together, our findings show that jailbreak behavior is reflected in structured intermediate uncertainty dynamics, clarifying both which entropy-derived features encode harmful intent and where in the network that signal is most pronounced.