El desalineamiento emergente puede ser inducido por la sicofancia y revertido mediante la compuerta de alineación.

Resumen

Trabajos previos han demostrado que el ajuste fino de modelos de lenguaje grandes con salidas maliciosas o incorrectas en dominios estrechos puede inducir un desalineamiento amplio y un comportamiento dañino, un fenómeno conocido como desalineamiento emergente. Sin embargo, los métodos eficientes para revertir dicho desalineamiento siguen siendo limitados. En este trabajo, realizamos dos contribuciones. Primero, identificamos el ajuste fino por adulación (sycophancy fine-tuning), es decir, entrenar modelos para que acepten pasivamente las opiniones incorrectas de los usuarios, como un impulsor previamente poco explorado del desalineamiento emergente, y mostramos que induce un comportamiento desalineado amplio y severo. Segundo, proponemos Alignment Gating, un método eficiente para revertir el desalineamiento emergente que inserta compuertas aprendibles y controlables en el modelo durante el ajuste fino. A través del ajuste fino, estas compuertas aprenden a identificar las representaciones internas responsables de las respuestas inseguras. Así, amplificar o suprimir estas representaciones exacerba o mitiga el desalineamiento emergente (EM), respectivamente. Además, encontramos que el módulo de compuertas de alineamiento (alignment gating) exhibe una fuerte generalización: los pesos de las compuertas obtenidos del ajuste fino en un dominio estrecho suprimen sustancialmente el comportamiento desalineado en dominios amplios, mientras preservan las capacidades generales del modelo.

English

Prior work has shown that fine-tuning large language models on malicious or incorrect outputs in narrow domains can induce broad misalignment and harmful behavior, a phenomenon known as emergent misalignment. However, efficient methods for reversing such misalignment remain limited. In this work, we make two contributions. First, we identify sycophancy fine-tuning, i.e., training models to passively agree with users' incorrect opinions, as a previously underexplored driver of emergent misalignment, and show that it induces broad and severe misaligned behavior. Second, we propose Alignment Gating, an efficient method for reversing emergent misalignment that inserts learnable and controllable gates into the model during fine-tuning. Through fine-tuning, these gates learn to identify the internal representations responsible for unsafe responses. Thus, amplifying or suppressing these representations then exacerbates or mitigates EM, respectively. We further find that alignment gating module exhibits strong generalization: gating weights obtained from narrow-domain fine-tuning substantially suppress broad-domain misaligned behavior while preserving the model's general capabilities.