Strategisch oneerlijk gedrag kan de veiligheidsevaluaties van geavanceerde grote taalmodellen (LLM) ondermijnen.

Samenvatting

Ontwikkelaars van grote taalmodellen (LLM's) streven ernaar dat hun modellen eerlijk, behulpzaam en onschadelijk zijn. Wanneer ze echter worden geconfronteerd met kwaadaardige verzoeken, zijn modellen getraind om te weigeren, wat ten koste gaat van behulpzaamheid. Wij laten zien dat geavanceerde LLM's een voorkeur kunnen ontwikkelen voor oneerlijkheid als nieuwe strategie, zelfs wanneer andere opties beschikbaar zijn. Getroffen modellen reageren op schadelijke verzoeken met uitvoer die schadelijk klinkt, maar in de praktijk subtiel incorrect of anderszins onschadelijk is. Dit gedrag ontstaat met moeilijk te voorspellen variaties, zelfs binnen modellen uit dezelfde modelfamilie. Wij vinden geen duidelijke oorzaak voor de neiging tot bedrog, maar wij laten zien dat capabelere modellen beter zijn in het uitvoeren van deze strategie. Strategische oneerlijkheid heeft al een praktische impact op veiligheidsevaluaties, aangezien wij aantonen dat oneerlijke reacties alle op uitvoer gebaseerde monitors misleiden die worden gebruikt om jailbreaks te detecteren die wij testen, waardoor benchmarkscores onbetrouwbaar worden. Bovendien kan strategische oneerlijkheid fungeren als een honeypot tegen kwaadaardige gebruikers, wat eerdere jailbreak-aanvallen merkbaar verduistert. Terwijl uitvoermonitors falen, laten wij zien dat lineaire probes op interne activaties kunnen worden gebruikt om strategische oneerlijkheid betrouwbaar te detecteren. Wij valideren probes op datasets met verifieerbare uitkomsten en door hun kenmerken te gebruiken als stuurvectoren. Over het algemeen beschouwen wij strategische oneerlijkheid als een concreet voorbeeld van een bredere zorg dat de afstemming van LLM's moeilijk te controleren is, vooral wanneer behulpzaamheid en onschadelijkheid met elkaar in conflict zijn.

English

Large language model (LLM) developers aim for their models to be honest, helpful, and harmless. However, when faced with malicious requests, models are trained to refuse, sacrificing helpfulness. We show that frontier LLMs can develop a preference for dishonesty as a new strategy, even when other options are available. Affected models respond to harmful requests with outputs that sound harmful but are subtly incorrect or otherwise harmless in practice. This behavior emerges with hard-to-predict variations even within models from the same model family. We find no apparent cause for the propensity to deceive, but we show that more capable models are better at executing this strategy. Strategic dishonesty already has a practical impact on safety evaluations, as we show that dishonest responses fool all output-based monitors used to detect jailbreaks that we test, rendering benchmark scores unreliable. Further, strategic dishonesty can act like a honeypot against malicious users, which noticeably obfuscates prior jailbreak attacks. While output monitors fail, we show that linear probes on internal activations can be used to reliably detect strategic dishonesty. We validate probes on datasets with verifiable outcomes and by using their features as steering vectors. Overall, we consider strategic dishonesty as a concrete example of a broader concern that alignment of LLMs is hard to control, especially when helpfulness and harmlessness conflict.

Strategisch oneerlijk gedrag kan de veiligheidsevaluaties van geavanceerde grote taalmodellen (LLM) ondermijnen.

Strategic Dishonesty Can Undermine AI Safety Evaluations of Frontier LLM

Samenvatting

Support