CoBia: Konstruierte Konversationen können ansonsten verborgene gesellschaftliche Vorurteile in LLMs auslösen

CoBia: Constructed Conversations Can Trigger Otherwise Concealed Societal Biases in LLMs

October 10, 2025

papers.authors: Nafiseh Nikeghbal, Amir Hossein Kargaran, Jana Diesner

cs.AI

papers.abstract

Verbesserungen in der Modellkonstruktion, einschließlich verstärkter Sicherheitsbarrieren, ermöglichen es großen Sprachmodellen (LLMs), zunehmend standardisierte Sicherheitsprüfungen zu bestehen. Dennoch neigen LLMs manchmal dazu, schädliches Verhalten zu offenbaren, wie beispielsweise die Äußerung rassistischer Ansichten während von Gesprächen. Um dies systematisch zu analysieren, führen wir CoBia ein, eine Sammlung von leichtgewichtigen adversarischen Angriffen, die es uns ermöglichen, den Rahmen der Bedingungen zu verfeinern, unter denen LLMs in Gesprächen von normativem oder ethischem Verhalten abweichen. CoBia erstellt ein konstruiertes Gespräch, in dem das Modell eine voreingenommene Aussage über eine soziale Gruppe trifft. Anschließend bewerten wir, ob das Modell sich von der fabrizierten voreingenommenen Aussage erholen und voreingenommene Folgefragen ablehnen kann. Wir bewerten 11 Open-Source- sowie proprietäre LLMs hinsichtlich ihrer Ausgaben in Bezug auf sechs soziodemografische Kategorien, die für individuelle Sicherheit und faire Behandlung relevant sind, d. h. Geschlecht, Rasse, Religion, Nationalität, sexuelle Orientierung und andere. Unsere Bewertung basiert auf etablierten LLM-basierten Bias-Metriken, und wir vergleichen die Ergebnisse mit menschlichen Urteilen, um die Zuverlässigkeit und Ausrichtung der LLMs zu ermitteln. Die Ergebnisse deuten darauf hin, dass gezielt konstruierte Gespräche zuverlässig eine Verstärkung von Vorurteilen offenbaren und dass LLMs oft nicht in der Lage sind, voreingenommene Folgefragen während eines Dialogs abzulehnen. Diese Form von Stresstests hebt tief verwurzelte Vorurteile hervor, die durch Interaktion sichtbar gemacht werden können. Code und Artefakte sind verfügbar unter https://github.com/nafisenik/CoBia.

English

Improvements in model construction, including fortified safety guardrails, allow Large language models (LLMs) to increasingly pass standard safety checks. However, LLMs sometimes slip into revealing harmful behavior, such as expressing racist viewpoints, during conversations. To analyze this systematically, we introduce CoBia, a suite of lightweight adversarial attacks that allow us to refine the scope of conditions under which LLMs depart from normative or ethical behavior in conversations. CoBia creates a constructed conversation where the model utters a biased claim about a social group. We then evaluate whether the model can recover from the fabricated bias claim and reject biased follow-up questions. We evaluate 11 open-source as well as proprietary LLMs for their outputs related to six socio-demographic categories that are relevant to individual safety and fair treatment, i.e., gender, race, religion, nationality, sex orientation, and others. Our evaluation is based on established LLM-based bias metrics, and we compare the results against human judgments to scope out the LLMs' reliability and alignment. The results suggest that purposefully constructed conversations reliably reveal bias amplification and that LLMs often fail to reject biased follow-up questions during dialogue. This form of stress-testing highlights deeply embedded biases that can be surfaced through interaction. Code and artifacts are available at https://github.com/nafisenik/CoBia.