Emergente misalignering kan worden geïnduceerd door vleierij en ongedaan gemaakt via alignment-poort

Samenvatting

Eerder werk heeft aangetoond dat het fijnstemmen van grote taalmodellen op kwaadaardige of onjuiste outputs in smalle domeinen brede verkeerde afstemming en schadelijk gedrag kan induceren, een fenomeen dat bekend staat als emergente verkeerde afstemming (EM). Echter, efficiënte methoden om dergelijke verkeerde afstemming ongedaan te maken blijven beperkt. In dit werk leveren we twee bijdragen. Ten eerste identificeren we vleierij-fijnafstemming, d.w.z. het trainen van modellen om passief in te stemmen met onjuiste meningen van gebruikers, als een voorheen onderbelichte drijver van emergente verkeerde afstemming, en tonen we aan dat het breed en ernstig verkeerd afgestemd gedrag induceert. Ten tweede stellen we Alignment Gating voor, een efficiënte methode voor het omkeren van emergente verkeerde afstemming die tijdens het fijnstemmen leerbare en controleerbare poorten in het model invoegt. Door middel van fijnstemmen leren deze poorten de interne representaties te identificeren die verantwoordelijk zijn voor onveilige antwoorden. Het versterken of onderdrukken van deze representaties verergert of vermindert respectievelijk de EM. We vinden verder dat de alignment gating module sterke generalisatie vertoont: poortgewichten verkregen uit fijnstemming in een smal domein onderdrukken aanzienlijk verkeerd afgestemd gedrag in brede domeinen, terwijl de algemene capaciteiten van het model behouden blijven.

English

Prior work has shown that fine-tuning large language models on malicious or incorrect outputs in narrow domains can induce broad misalignment and harmful behavior, a phenomenon known as emergent misalignment. However, efficient methods for reversing such misalignment remain limited. In this work, we make two contributions. First, we identify sycophancy fine-tuning, i.e., training models to passively agree with users' incorrect opinions, as a previously underexplored driver of emergent misalignment, and show that it induces broad and severe misaligned behavior. Second, we propose Alignment Gating, an efficient method for reversing emergent misalignment that inserts learnable and controllable gates into the model during fine-tuning. Through fine-tuning, these gates learn to identify the internal representations responsible for unsafe responses. Thus, amplifying or suppressing these representations then exacerbates or mitigates EM, respectively. We further find that alignment gating module exhibits strong generalization: gating weights obtained from narrow-domain fine-tuning substantially suppress broad-domain misaligned behavior while preserving the model's general capabilities.