O que as Camadas Intermediárias Sabem: Detectando Violações a partir da Dinâmica de Entropia

Resumo

Ataques de jailbreak revelam uma fragilidade persistente em Modelos de Linguagem de Grande Porte alinhados: prompts cuidadosamente elaborados podem elicitar respostas que violam as políticas, mesmo após treinamento de segurança. Embora a maioria das defesas opere no nível do prompt ou da saída, ainda não está claro como a intenção prejudicial é codificada nas representações internas do modelo. Investigamos essa questão analisando trajetórias de entropia preditiva em nível de token entre camadas de um LLM congelado, utilizando a lente logit. Constatamos que estatísticas agregadas estáticas da entropia do prompt (ex.: média, variância) carregam pouco sinal discriminativo, ao passo que características que capturam como a entropia evolui ao longo das posições dos tokens, como pontuações de tendência baseadas em rank monotônico, são substancialmente mais informativas. De forma importante, esse sinal não é uniforme na profundidade do modelo: ele se concentra em camadas intermediárias e se degrada na camada final, indicando que a estrutura relevante para jailbreak é mais pronunciada nas representações do meio da rede, e não na cabeça de saída. Através de múltiplos modelos (Llama, Qwen, Gemma) e benchmarks adversariais, essas dinâmicas de entropia fornecem separação consistente entre arquiteturas, sem necessidade de treinamento adicional. Em conjunto, nossos achados mostram que o comportamento de jailbreak se reflete em dinâmicas de incerteza intermediárias e estruturadas, esclarecendo tanto quais características derivadas da entropia codificam a intenção prejudicial quanto onde na rede esse sinal é mais pronunciado.

English

Jailbreak attacks reveal a persistent weakness in aligned Large Language Models: carefully crafted prompts can elicit policy-violating responses despite safety training. While most defenses operate at the prompt or output level, it remains unclear how harmful intent is encoded within the model's internal representations. We investigate this question by analyzing token-level predictive entropy trajectories across layers of a frozen LLM using the logit lens. We find that static aggregate statistics of prompt-level entropy (e.g., mean, variance) carry little discriminative signal, whereas features capturing how entropy evolves across token positions, such as monotonic rank-based trend scores, are substantially more informative. Importantly, this signal is not uniform across model depth: it is concentrated in intermediate layers and degrades at the final layer, indicating that jailbreak-relevant structure is most pronounced in mid-network representations rather than at the output head. Across multiple models (Llama, Qwen, Gemma) and adversarial benchmarks, these entropy dynamics provide architecture-consistent separation without additional training. Together, our findings show that jailbreak behavior is reflected in structured intermediate uncertainty dynamics, clarifying both which entropy-derived features encode harmful intent and where in the network that signal is most pronounced.