Mesures d'Évaluation Hors Ligne de l'Équité dans les Systèmes de Recommandation

Offline Evaluation Measures of Fairness in Recommender Systems

April 27, 2026

Auteurs: Theresia Veronika Rampisela

cs.AI

Résumé

L'évaluation de l'équité des systèmes de recommandation est devenue de plus en plus importante, notamment avec la récente législation qui met l'accent sur le développement d'une intelligence artificielle équitable et responsable. Cela a conduit à l'émergence de diverses mesures d'évaluation de l'équité, qui quantifient l'équité en se basant sur différentes définitions. Cependant, nombre de ces mesures sont simplement proposées et utilisées sans analyse approfondie de leur robustesse. En conséquence, la compréhension et la conscience des limites de ces mesures sont insuffisantes. Parmi d'autres problèmes, on ignore quels types de sorties de modèles produisent le score le plus (in)équitable, comment les scores des mesures sont distribués empiriquement, et s'il existe des cas où les mesures ne peuvent pas être calculées (par exemple, en raison d'une division par zéro). Ces problèmes entraînent des difficultés pour interpréter les scores des mesures et une confusion quant à la ou les mesures à utiliser pour un cas spécifique. Cette thèse présente une série d'articles qui évaluent et surmontent diverses limitations théoriques, empiriques et conceptuelles des mesures d'évaluation de l'équité existantes pour les systèmes de recommandation. Nous étudions un large éventail de mesures d'évaluation hors ligne pour différentes notions d'équité, réparties en fonction des sujets d'évaluation (utilisateurs et articles) et pour différentes granularités d'évaluation (groupes de sujets et sujets individuels). Premièrement, nous effectuons une analyse théorique et empirique des mesures, exposant des défauts qui limitent leur interprétabilité, leur expressivité ou leur applicabilité. Deuxièmement, nous proposons de nouvelles approches d'évaluation et des mesures qui surmontent ces limitations. Enfin, compte tenu des limites des mesures, nous recommandons des lignes directrices pour une utilisation appropriée des mesures, permettant ainsi une sélection plus précise des mesures d'évaluation de l'équité dans des scénarios pratiques. Dans l'ensemble, cette thèse contribue à faire progresser l'état de l'art de l'évaluation hors ligne de l'équité dans les systèmes de recommandation.

English

The evaluation of recommender system fairness has become increasingly important, especially with recent legislation that emphasises the development of fair and responsible artificial intelligence. This has led to the emergence of various fairness evaluation measures, which quantify fairness based on different definitions. However, many of such measures are simply proposed and used without further analysis on their robustness. As a result, there is insufficient understanding and awareness of the measures' limitations. Among other issues, it is not known what kind of model outputs produce the (un)fairest score, how the measure scores are empirically distributed, and whether there are cases where the measures cannot be computed (e.g., due to division by zero). These issues cause difficulty in interpreting the measure scores and confusion on which measure(s) should be used for a specific case. This thesis presents a series of papers that assess and overcome various theoretical, empirical, and conceptual limitations of existing recommender system fairness evaluation measures. We investigate a wide range of offline evaluation measures for different fairness notions, divided based on the evaluation subjects (users and items) and for different evaluation granularities (groups of subjects and individual subjects). Firstly, we perform theoretical and empirical analysis on the measures, exposing flaws that limit their interpretability, expressiveness, or applicability. Secondly, we contribute novel evaluation approaches and measures that overcome these limitations. Finally, considering the measures' limitations, we recommend guidelines for the appropriate measure usage, thereby allowing for more precise selection of fairness evaluation measures in practical scenarios. Overall, this thesis contributes to advancing the state-of-the-art offline evaluation of fairness in recommender systems.