O Bisturi Desonesto: A Direção de Ativação Compromete a Segurança de LLMs

The Rogue Scalpel: Activation Steering Compromises LLM Safety

September 26, 2025

Autores: Anton Korznikov, Andrey Galichin, Alexey Dontsov, Oleg Y. Rogov, Ivan Oseledets, Elena Tutubalina

cs.AI

Resumo

A direção de ativação é uma técnica promissora para controlar o comportamento de LLMs ao adicionar vetores semanticamente significativos diretamente nos estados ocultos de um modelo durante a inferência. Frequentemente, ela é apresentada como uma alternativa precisa, interpretável e potencialmente mais segura ao ajuste fino. Demonstramos o oposto: a direção de ativação quebra sistematicamente os mecanismos de segurança de alinhamento do modelo, fazendo com que ele cumpra solicitações prejudiciais. Por meio de extensos experimentos em diferentes famílias de modelos, mostramos que até mesmo a direção em uma direção aleatória pode aumentar a probabilidade de conformidade prejudicial de 0% para 2-27%. De forma alarmante, direcionar características benignas de um autoencoder esparso (SAE), uma fonte comum de direções interpretáveis, aumenta essas taxas em mais 2-4%. Por fim, mostramos que combinar 20 vetores amostrados aleatoriamente que "quebram" um único prompt cria um ataque universal, aumentando significativamente a conformidade prejudicial em solicitações não vistas. Esses resultados desafiam o paradigma de segurança por meio da interpretabilidade, mostrando que o controle preciso sobre os internos do modelo não garante controle preciso sobre o comportamento do modelo.

English

Activation steering is a promising technique for controlling LLM behavior by adding semantically meaningful vectors directly into a model's hidden states during inference. It is often framed as a precise, interpretable, and potentially safer alternative to fine-tuning. We demonstrate the opposite: steering systematically breaks model alignment safeguards, making it comply with harmful requests. Through extensive experiments on different model families, we show that even steering in a random direction can increase the probability of harmful compliance from 0% to 2-27%. Alarmingly, steering benign features from a sparse autoencoder (SAE), a common source of interpretable directions, increases these rates by a further 2-4%. Finally, we show that combining 20 randomly sampled vectors that jailbreak a single prompt creates a universal attack, significantly increasing harmful compliance on unseen requests. These results challenge the paradigm of safety through interpretability, showing that precise control over model internals does not guarantee precise control over model behavior.