Offline-evaluatiematen voor eerlijkheid in aanbevelingssystemen

Offline Evaluation Measures of Fairness in Recommender Systems

April 27, 2026

Auteurs: Theresia Veronika Rampisela

cs.AI

Samenvatting

De evaluatie van eerlijkheid in aanbevelingssystemen is steeds belangrijker geworden, vooral met recente wetgeving die de ontwikkeling van eerlijke en verantwoorde kunstmatige intelligentie benadrukt. Dit heeft geleid tot de opkomst van diverse eerlijkheidsevaluatiematen, die eerlijkheid kwantificeren op basis van verschillende definities. Veel van dergelijke maten worden echter eenvoudigweg voorgesteld en gebruikt zonder verdere analyse van hun robuustheid. Hierdoor is er onvoldoende inzicht en bewustzijn van de beperkingen van de maten. Onder andere is niet bekend wat voor soort modeluitkomsten de (on)eerlijkste score produceren, hoe de maatscores empirisch zijn verdeeld, en of er gevallen zijn waarin de maten niet kunnen worden berekend (bijvoorbeeld door deling door nul). Deze problemen veroorzaken moeilijkheden bij het interpreteren van de maatscores en verwarring over welke maat of maten moeten worden gebruikt voor een specifiek geval. Dit proefschrift presenteert een reeks artikelen die verschillende theoretische, empirische en conceptuele beperkingen van bestaande eerlijkheidsevaluatiematen voor aanbevelingssystemen beoordelen en overwinnen. Wij onderzoeken een breed scala aan offline evaluatiematen voor verschillende eerlijkheidsnoties, onderverdeeld op basis van de evaluatie-onderwerpen (gebruikers en items) en voor verschillende evaluatiegranulariteiten (groepen onderwerpen en individuele onderwerpen). Ten eerste voeren wij theoretische en empirische analyses uit op de maten, waarbij wij gebreken blootleggen die hun interpreteerbaarheid, expressiviteit of toepasbaarheid beperken. Ten tweede dragen wij nieuwe evaluatiebenaderingen en maten bij die deze beperkingen overwinnen. Ten slotte, rekening houdend met de beperkingen van de maten, bevelen wij richtlijnen aan voor het juiste gebruik van de maten, waardoor een meer precieze selectie van eerlijkheidsevaluatiematen in praktijkscenario's mogelijk wordt. Al met al draagt dit proefschrift bij aan de verbetering van de state-of-the-art offline evaluatie van eerlijkheid in aanbevelingssystemen.

English

The evaluation of recommender system fairness has become increasingly important, especially with recent legislation that emphasises the development of fair and responsible artificial intelligence. This has led to the emergence of various fairness evaluation measures, which quantify fairness based on different definitions. However, many of such measures are simply proposed and used without further analysis on their robustness. As a result, there is insufficient understanding and awareness of the measures' limitations. Among other issues, it is not known what kind of model outputs produce the (un)fairest score, how the measure scores are empirically distributed, and whether there are cases where the measures cannot be computed (e.g., due to division by zero). These issues cause difficulty in interpreting the measure scores and confusion on which measure(s) should be used for a specific case. This thesis presents a series of papers that assess and overcome various theoretical, empirical, and conceptual limitations of existing recommender system fairness evaluation measures. We investigate a wide range of offline evaluation measures for different fairness notions, divided based on the evaluation subjects (users and items) and for different evaluation granularities (groups of subjects and individual subjects). Firstly, we perform theoretical and empirical analysis on the measures, exposing flaws that limit their interpretability, expressiveness, or applicability. Secondly, we contribute novel evaluation approaches and measures that overcome these limitations. Finally, considering the measures' limitations, we recommend guidelines for the appropriate measure usage, thereby allowing for more precise selection of fairness evaluation measures in practical scenarios. Overall, this thesis contributes to advancing the state-of-the-art offline evaluation of fairness in recommender systems.