Biasbewertung ohne manuelle Testdatensätze: Eine Konzeptrepräsentationsperspektive für LLMs

Evaluate Bias without Manual Test Sets: A Concept Representation Perspective for LLMs

May 21, 2025

Autoren: Lang Gao, Kaiyang Wan, Wei Liu, Chenxi Wang, Zirui Song, Zixiang Xu, Yanbo Wang, Veselin Stoyanov, Xiuying Chen

cs.AI

Zusammenfassung

Bias in großen Sprachmodellen (LLMs) beeinträchtigt deren Zuverlässigkeit und Fairness erheblich. Wir konzentrieren uns auf eine häufige Form von Bias: Wenn zwei Referenzkonzepte im Konzeptraum des Modells, wie beispielsweise Sentimentpolaritäten (z. B. „positiv“ und „negativ“), asymmetrisch mit einem dritten Zielkonzept, wie einem Bewertungsaspekt, korreliert sind, zeigt das Modell unbeabsichtigte Verzerrungen. Zum Beispiel sollte das Verständnis von „Essen“ nicht in Richtung eines bestimmten Sentiments verzerrt sein. Bestehende Methoden zur Bias-Bewertung untersuchen Verhaltensunterschiede von LLMs, indem sie gelabelte Daten für verschiedene soziale Gruppen erstellen und die Modellantworten über diese hinweg messen – ein Prozess, der erheblichen menschlichen Aufwand erfordert und nur eine begrenzte Anzahl sozialer Konzepte erfasst. Um diese Einschränkungen zu überwinden, schlagen wir BiasLens vor, ein testsetfreies Bias-Analyse-Framework, das auf der Struktur des Vektorraums des Modells basiert. BiasLens kombiniert Concept Activation Vectors (CAVs) mit Sparse Autoencoders (SAEs), um interpretierbare Konzeptrepräsentationen zu extrahieren, und quantifiziert Bias, indem es die Variation in der Ähnlichkeit der Repräsentation zwischen dem Zielkonzept und jedem der Referenzkonzepte misst. Selbst ohne gelabelte Daten zeigt BiasLens eine starke Übereinstimmung mit traditionellen Bias-Bewertungsmetriken (Spearman-Korrelation r > 0,85). Darüber hinaus deckt BiasLens Formen von Bias auf, die mit bestehenden Methoden schwer zu erkennen sind. Beispielsweise kann in simulierten klinischen Szenarien der Versicherungsstatus eines Patienten dazu führen, dass das LLM verzerrte diagnostische Bewertungen erstellt. Insgesamt bietet BiasLens ein skalierbares, interpretierbares und effizientes Paradigma für die Bias-Entdeckung und ebnet den Weg zur Verbesserung von Fairness und Transparenz in LLMs.

English

Bias in Large Language Models (LLMs) significantly undermines their reliability and fairness. We focus on a common form of bias: when two reference concepts in the model's concept space, such as sentiment polarities (e.g., "positive" and "negative"), are asymmetrically correlated with a third, target concept, such as a reviewing aspect, the model exhibits unintended bias. For instance, the understanding of "food" should not skew toward any particular sentiment. Existing bias evaluation methods assess behavioral differences of LLMs by constructing labeled data for different social groups and measuring model responses across them, a process that requires substantial human effort and captures only a limited set of social concepts. To overcome these limitations, we propose BiasLens, a test-set-free bias analysis framework based on the structure of the model's vector space. BiasLens combines Concept Activation Vectors (CAVs) with Sparse Autoencoders (SAEs) to extract interpretable concept representations, and quantifies bias by measuring the variation in representational similarity between the target concept and each of the reference concepts. Even without labeled data, BiasLens shows strong agreement with traditional bias evaluation metrics (Spearman correlation r > 0.85). Moreover, BiasLens reveals forms of bias that are difficult to detect using existing methods. For example, in simulated clinical scenarios, a patient's insurance status can cause the LLM to produce biased diagnostic assessments. Overall, BiasLens offers a scalable, interpretable, and efficient paradigm for bias discovery, paving the way for improving fairness and transparency in LLMs.