Was Zwischenschichten wissen: Jailbreak-Erkennung anhand der Entropiedynamik

Zusammenfassung

Jailbreak-Angriffe offenbaren eine anhaltende Schwachstelle in alignierten großen Sprachmodellen: Sorgfältig konstruierte Prompts können selbst nach Sicherheitstraining richtlinienverletzende Antworten hervorrufen. Während die meisten Verteidigungsansätze auf Prompt- oder Ausgabeebene ansetzen, bleibt unklar, wie schädliche Absicht in den internen Repräsentationen des Modells kodiert wird. Wir untersuchen diese Frage, indem wir Token-weise prädiktive Entropieverläufe über Schichten eines eingefrorenen LLMs mittels der Logit-Linse analysieren. Wir stellen fest, dass statische aggregierte Statistiken der Prompt-Entropie (z. B. Mittelwert, Varianz) nur wenig diskriminatives Signal tragen, während Merkmale, die die Entwicklung der Entropie über Token-Positionen hinweg erfassen – wie monotone rangbasierte Trend-Scores – deutlich informativer sind. Wichtig ist, dass dieses Signal nicht gleichmäßig über die Modelltiefe verteilt ist: Es konzentriert sich in den Zwischenschichten und nimmt in der letzten Schicht ab, was darauf hindeutet, dass jailbreak-relevante Strukturen am stärksten in den mittleren Netzwerkrepräsentationen ausgeprägt sind, nicht am Ausgabekopf. Über mehrere Modelle (Llama, Qwen, Gemma) und adversarielle Benchmarks hinweg liefern diese Entropiedynamiken eine architekturkonsistente Trennung ohne zusätzliches Training. Zusammengenommen zeigen unsere Ergebnisse, dass Jailbreak-Verhalten in strukturierten Unsicherheitsdynamiken der Zwischenschichten reflektiert wird, und klären damit, welche entropiebasierten Merkmale schädliche Absicht kodieren und wo im Netzwerk dieses Signal am stärksten ausgeprägt ist.

English

Jailbreak attacks reveal a persistent weakness in aligned Large Language Models: carefully crafted prompts can elicit policy-violating responses despite safety training. While most defenses operate at the prompt or output level, it remains unclear how harmful intent is encoded within the model's internal representations. We investigate this question by analyzing token-level predictive entropy trajectories across layers of a frozen LLM using the logit lens. We find that static aggregate statistics of prompt-level entropy (e.g., mean, variance) carry little discriminative signal, whereas features capturing how entropy evolves across token positions, such as monotonic rank-based trend scores, are substantially more informative. Importantly, this signal is not uniform across model depth: it is concentrated in intermediate layers and degrades at the final layer, indicating that jailbreak-relevant structure is most pronounced in mid-network representations rather than at the output head. Across multiple models (Llama, Qwen, Gemma) and adversarial benchmarks, these entropy dynamics provide architecture-consistent separation without additional training. Together, our findings show that jailbreak behavior is reflected in structured intermediate uncertainty dynamics, clarifying both which entropy-derived features encode harmful intent and where in the network that signal is most pronounced.