Lo que saben las capas intermedias: Detección de jailbreaks a partir de la dinámica de la entropía

Resumen

Los ataques de desbloqueo (jailbreak) revelan una debilidad persistente en los Modelos de Lenguaje de Gran Escala alineados: indicaciones cuidadosamente diseñadas pueden provocar respuestas que violan las políticas a pesar del entrenamiento en seguridad. Si bien la mayoría de las defensas operan a nivel de la indicación o de la salida, aún no está claro cómo se codifica la intención dañina dentro de las representaciones internas del modelo. Investigamos esta cuestión analizando las trayectorias de entropía predictiva a nivel de token a través de las capas de un LLM congelado utilizando la lente de logits. Encontramos que las estadísticas agregadas estáticas de la entropía a nivel de indicación (por ejemplo, media, varianza) portan poca señal discriminativa, mientras que las características que capturan cómo evoluciona la entropía a través de las posiciones de los tokens, como las puntuaciones de tendencia basadas en rangos monótonos, son sustancialmente más informativas. Es importante destacar que esta señal no es uniforme a través de la profundidad del modelo: se concentra en las capas intermedias y se degrada en la capa final, lo que indica que la estructura relevante para el jailbreak es más pronunciada en las representaciones de la mitad de la red que en la cabeza de salida. A través de múltiples modelos (Llama, Qwen, Gemma) y puntos de referencia adversariales, estas dinámicas de entropía proporcionan una separación consistente con la arquitectura sin necesidad de entrenamiento adicional. En conjunto, nuestros hallazgos muestran que el comportamiento de jailbreak se refleja en dinámicas estructuradas de incertidumbre intermedias, aclarando tanto qué características derivadas de la entropía codifican la intención dañina como dónde en la red esa señal es más pronunciada.

English

Jailbreak attacks reveal a persistent weakness in aligned Large Language Models: carefully crafted prompts can elicit policy-violating responses despite safety training. While most defenses operate at the prompt or output level, it remains unclear how harmful intent is encoded within the model's internal representations. We investigate this question by analyzing token-level predictive entropy trajectories across layers of a frozen LLM using the logit lens. We find that static aggregate statistics of prompt-level entropy (e.g., mean, variance) carry little discriminative signal, whereas features capturing how entropy evolves across token positions, such as monotonic rank-based trend scores, are substantially more informative. Importantly, this signal is not uniform across model depth: it is concentrated in intermediate layers and degrades at the final layer, indicating that jailbreak-relevant structure is most pronounced in mid-network representations rather than at the output head. Across multiple models (Llama, Qwen, Gemma) and adversarial benchmarks, these entropy dynamics provide architecture-consistent separation without additional training. Together, our findings show that jailbreak behavior is reflected in structured intermediate uncertainty dynamics, clarifying both which entropy-derived features encode harmful intent and where in the network that signal is most pronounced.