CoBia : Les conversations construites peuvent révéler des biais sociétaux autrement dissimulés dans les modèles de langage de grande taille (LLMs).

CoBia: Constructed Conversations Can Trigger Otherwise Concealed Societal Biases in LLMs

October 10, 2025

papers.authors: Nafiseh Nikeghbal, Amir Hossein Kargaran, Jana Diesner

cs.AI

papers.abstract

Les améliorations dans la construction des modèles, incluant des garde-fous de sécurité renforcés, permettent aux modèles de langage de grande taille (LLMs) de passer de plus en plus les contrôles de sécurité standard. Cependant, les LLMs peuvent parfois dévier en révélant des comportements nuisibles, tels que l'expression de points de vue racistes, au cours de conversations. Pour analyser cela de manière systématique, nous introduisons CoBia, une suite d'attaques adversaires légères qui nous permettent d'affiner l'étendue des conditions dans lesquelles les LLMs s'écartent d'un comportement normatif ou éthique lors de conversations. CoBia crée une conversation construite où le modèle émet une affirmation biaisée concernant un groupe social. Nous évaluons ensuite si le modèle peut se rétablir de cette affirmation biaisée fabriquée et rejeter les questions de suivi biaisées. Nous évaluons 11 LLMs open-source ainsi que propriétaires pour leurs sorties liées à six catégories socio-démographiques pertinentes pour la sécurité individuelle et le traitement équitable, à savoir le genre, la race, la religion, la nationalité, l'orientation sexuelle et d'autres. Notre évaluation est basée sur des métriques de biais établies pour les LLMs, et nous comparons les résultats aux jugements humains pour évaluer la fiabilité et l'alignement des LLMs. Les résultats suggèrent que les conversations intentionnellement construites révèlent de manière fiable une amplification des biais et que les LLMs échouent souvent à rejeter les questions de suivi biaisées pendant le dialogue. Cette forme de test de résistance met en lumière des biais profondément ancrés qui peuvent être révélés par l'interaction. Le code et les artefacts sont disponibles à l'adresse https://github.com/nafisenik/CoBia.

English

Improvements in model construction, including fortified safety guardrails, allow Large language models (LLMs) to increasingly pass standard safety checks. However, LLMs sometimes slip into revealing harmful behavior, such as expressing racist viewpoints, during conversations. To analyze this systematically, we introduce CoBia, a suite of lightweight adversarial attacks that allow us to refine the scope of conditions under which LLMs depart from normative or ethical behavior in conversations. CoBia creates a constructed conversation where the model utters a biased claim about a social group. We then evaluate whether the model can recover from the fabricated bias claim and reject biased follow-up questions. We evaluate 11 open-source as well as proprietary LLMs for their outputs related to six socio-demographic categories that are relevant to individual safety and fair treatment, i.e., gender, race, religion, nationality, sex orientation, and others. Our evaluation is based on established LLM-based bias metrics, and we compare the results against human judgments to scope out the LLMs' reliability and alignment. The results suggest that purposefully constructed conversations reliably reveal bias amplification and that LLMs often fail to reject biased follow-up questions during dialogue. This form of stress-testing highlights deeply embedded biases that can be surfaced through interaction. Code and artifacts are available at https://github.com/nafisenik/CoBia.