CoBia: Las conversaciones construidas pueden desencadenar sesgos sociales ocultos en los modelos de lenguaje grandes (LLMs).

CoBia: Constructed Conversations Can Trigger Otherwise Concealed Societal Biases in LLMs

October 10, 2025

Autores: Nafiseh Nikeghbal, Amir Hossein Kargaran, Jana Diesner

cs.AI

Resumen

Las mejoras en la construcción de modelos, incluyendo barreras de seguridad reforzadas, permiten que los modelos de lenguaje de gran escala (LLMs, por sus siglas en inglés) superen cada vez más las verificaciones estándar de seguridad. Sin embargo, los LLMs a veces incurren en comportamientos dañinos, como expresar puntos de vista racistas, durante las conversaciones. Para analizar esto de manera sistemática, presentamos CoBia, un conjunto de ataques adversarios ligeros que nos permiten refinar el alcance de las condiciones bajo las cuales los LLMs se desvían del comportamiento normativo o ético en las conversaciones. CoBia crea una conversación construida en la que el modelo emite una afirmación sesgada sobre un grupo social. Luego evaluamos si el modelo puede recuperarse de la afirmación sesgada fabricada y rechazar preguntas de seguimiento sesgadas. Evaluamos 11 LLMs de código abierto y propietarios en relación con seis categorías sociodemográficas relevantes para la seguridad individual y el trato justo, es decir, género, raza, religión, nacionalidad, orientación sexual y otras. Nuestra evaluación se basa en métricas de sesgo establecidas para LLMs, y comparamos los resultados con juicios humanos para determinar la confiabilidad y alineación de los LLMs. Los resultados sugieren que las conversaciones construidas intencionalmente revelan de manera confiable la amplificación de sesgos y que los LLMs a menudo no logran rechazar preguntas de seguimiento sesgadas durante el diálogo. Esta forma de prueba de estrés resalta los sesgos profundamente arraigados que pueden surgir a través de la interacción. El código y los artefactos están disponibles en https://github.com/nafisenik/CoBia.

English

Improvements in model construction, including fortified safety guardrails, allow Large language models (LLMs) to increasingly pass standard safety checks. However, LLMs sometimes slip into revealing harmful behavior, such as expressing racist viewpoints, during conversations. To analyze this systematically, we introduce CoBia, a suite of lightweight adversarial attacks that allow us to refine the scope of conditions under which LLMs depart from normative or ethical behavior in conversations. CoBia creates a constructed conversation where the model utters a biased claim about a social group. We then evaluate whether the model can recover from the fabricated bias claim and reject biased follow-up questions. We evaluate 11 open-source as well as proprietary LLMs for their outputs related to six socio-demographic categories that are relevant to individual safety and fair treatment, i.e., gender, race, religion, nationality, sex orientation, and others. Our evaluation is based on established LLM-based bias metrics, and we compare the results against human judgments to scope out the LLMs' reliability and alignment. The results suggest that purposefully constructed conversations reliably reveal bias amplification and that LLMs often fail to reject biased follow-up questions during dialogue. This form of stress-testing highlights deeply embedded biases that can be surfaced through interaction. Code and artifacts are available at https://github.com/nafisenik/CoBia.