Desalinhamento Emergente Pode Ser Induzido por Bajulação e Revertido via Portas de Alinhamento

Resumo

Trabalhos anteriores demonstraram que o ajuste fino de modelos de linguagem de grande porte em saídas maliciosas ou incorretas em domínios restritos pode induzir um desalinhamento amplo e comportamentos prejudiciais, fenômeno conhecido como desalinhamento emergente. No entanto, métodos eficientes para reverter esse desalinhamento ainda são limitados. Neste trabalho, apresentamos duas contribuições. Primeiro, identificamos o ajuste fino por bajulação, ou seja, treinar modelos para concordar passivamente com opiniões incorretas dos usuários, como um motor anteriormente pouco explorado do desalinhamento emergente, e mostramos que ele induz um comportamento desalinhado amplo e grave. Segundo, propomos o Porteio de Alinhamento, um método eficiente para reverter o desalinhamento emergente que insere portas aprendíveis e controláveis no modelo durante o ajuste fino. Por meio do ajuste fino, essas portas aprendem a identificar as representações internas responsáveis por respostas inseguras. Assim, amplificar ou suprimir essas representações agrava ou mitiga, respectivamente, o desalinhamento emergente. Descobrimos ainda que o módulo de porteio de alinhamento exibe forte generalização: os pesos do porteio obtidos a partir de ajuste fino em domínio restrito suprimem substancialmente o comportamento desalinhado de domínio amplo, preservando as capacidades gerais do modelo.

English

Prior work has shown that fine-tuning large language models on malicious or incorrect outputs in narrow domains can induce broad misalignment and harmful behavior, a phenomenon known as emergent misalignment. However, efficient methods for reversing such misalignment remain limited. In this work, we make two contributions. First, we identify sycophancy fine-tuning, i.e., training models to passively agree with users' incorrect opinions, as a previously underexplored driver of emergent misalignment, and show that it induces broad and severe misaligned behavior. Second, we propose Alignment Gating, an efficient method for reversing emergent misalignment that inserts learnable and controllable gates into the model during fine-tuning. Through fine-tuning, these gates learn to identify the internal representations responsible for unsafe responses. Thus, amplifying or suppressing these representations then exacerbates or mitigates EM, respectively. We further find that alignment gating module exhibits strong generalization: gating weights obtained from narrow-domain fine-tuning substantially suppress broad-domain misaligned behavior while preserving the model's general capabilities.