Évaluer les biais sans ensembles de test manuels : Une perspective de représentation conceptuelle pour les LLM

Evaluate Bias without Manual Test Sets: A Concept Representation Perspective for LLMs

May 21, 2025

Auteurs: Lang Gao, Kaiyang Wan, Wei Liu, Chenxi Wang, Zirui Song, Zixiang Xu, Yanbo Wang, Veselin Stoyanov, Xiuying Chen

cs.AI

Résumé

Les biais dans les grands modèles de langage (LLM) compromettent de manière significative leur fiabilité et leur équité. Nous nous concentrons sur une forme courante de biais : lorsque deux concepts de référence dans l'espace conceptuel du modèle, tels que les polarités de sentiment (par exemple, "positif" et "négatif"), sont asymétriquement corrélés avec un troisième concept cible, tel qu'un aspect d'évaluation, le modèle présente un biais non intentionnel. Par exemple, la compréhension de "nourriture" ne devrait pas pencher vers un sentiment particulier. Les méthodes existantes d'évaluation des biais mesurent les différences comportementales des LLM en construisant des données étiquetées pour différents groupes sociaux et en mesurant les réponses du modèle à travers eux, un processus qui nécessite un effort humain considérable et ne capture qu'un ensemble limité de concepts sociaux. Pour surmonter ces limites, nous proposons BiasLens, un cadre d'analyse des biais sans ensemble de test basé sur la structure de l'espace vectoriel du modèle. BiasLens combine les vecteurs d'activation de concept (CAV) avec les autoencodeurs épars (SAE) pour extraire des représentations de concepts interprétables, et quantifie les biais en mesurant la variation de la similarité de représentation entre le concept cible et chacun des concepts de référence. Même sans données étiquetées, BiasLens montre un fort accord avec les métriques traditionnelles d'évaluation des biais (corrélation de Spearman r > 0,85). De plus, BiasLens révèle des formes de biais difficiles à détecter avec les méthodes existantes. Par exemple, dans des scénarios cliniques simulés, le statut d'assurance d'un patient peut amener le LLM à produire des évaluations diagnostiques biaisées. Globalement, BiasLens offre un paradigme évolutif, interprétable et efficace pour la découverte des biais, ouvrant la voie à l'amélioration de l'équité et de la transparence dans les LLM.

English

Bias in Large Language Models (LLMs) significantly undermines their reliability and fairness. We focus on a common form of bias: when two reference concepts in the model's concept space, such as sentiment polarities (e.g., "positive" and "negative"), are asymmetrically correlated with a third, target concept, such as a reviewing aspect, the model exhibits unintended bias. For instance, the understanding of "food" should not skew toward any particular sentiment. Existing bias evaluation methods assess behavioral differences of LLMs by constructing labeled data for different social groups and measuring model responses across them, a process that requires substantial human effort and captures only a limited set of social concepts. To overcome these limitations, we propose BiasLens, a test-set-free bias analysis framework based on the structure of the model's vector space. BiasLens combines Concept Activation Vectors (CAVs) with Sparse Autoencoders (SAEs) to extract interpretable concept representations, and quantifies bias by measuring the variation in representational similarity between the target concept and each of the reference concepts. Even without labeled data, BiasLens shows strong agreement with traditional bias evaluation metrics (Spearman correlation r > 0.85). Moreover, BiasLens reveals forms of bias that are difficult to detect using existing methods. For example, in simulated clinical scenarios, a patient's insurance status can cause the LLM to produce biased diagnostic assessments. Overall, BiasLens offers a scalable, interpretable, and efficient paradigm for bias discovery, paving the way for improving fairness and transparency in LLMs.