Métricas de Avaliação Off-line de Justiça em Sistemas de Recomendação

Offline Evaluation Measures of Fairness in Recommender Systems

April 27, 2026

Autores: Theresia Veronika Rampisela

cs.AI

Resumo

A avaliação da justiça dos sistemas de recomendação tornou-se cada vez mais importante, especialmente com a legislação recente que enfatiza o desenvolvimento de uma inteligência artificial justa e responsável. Isso levou ao surgimento de várias medidas de avaliação de justiça, que quantificam a equidade com base em diferentes definições. No entanto, muitas dessas medidas são simplesmente propostas e utilizadas sem uma análise mais aprofundada sobre a sua robustez. Como resultado, há uma compreensão e consciência insuficientes sobre as limitações das medidas. Entre outras questões, não se sabe que tipo de saídas do modelo produzem a pontuação mais (in)justa, como as pontuações das medidas são distribuídas empiricamente e se há casos em que as medidas não podem ser calculadas (por exemplo, devido à divisão por zero). Essas questões causam dificuldade na interpretação das pontuações das medidas e confusão sobre qual(is) medida(s) deve(m) ser usada(s) para um caso específico. Esta tese apresenta uma série de artigos que avaliam e superam várias limitações teóricas, empíricas e conceituais das medidas existentes de avaliação de justiça em sistemas de recomendação. Investigamos uma ampla gama de medidas de avaliação *offline* para diferentes noções de justiça, divididas com base nos sujeitos da avaliação (utilizadores e itens) e para diferentes granularidades de avaliação (grupos de sujeitos e sujeitos individuais). Em primeiro lugar, realizamos uma análise teórica e empírica das medidas, expondo falhas que limitam a sua interpretabilidade, expressividade ou aplicabilidade. Em segundo lugar, contribuímos com novas abordagens de avaliação e medidas que superam essas limitações. Finalmente, considerando as limitações das medidas, recomendamos diretrizes para o uso adequado das mesmas, permitindo assim uma seleção mais precisa das medidas de avaliação de justiça em cenários práticos. No geral, esta tese contribui para avançar o estado da arte na avaliação *offline* da justiça em sistemas de recomendação.

English

The evaluation of recommender system fairness has become increasingly important, especially with recent legislation that emphasises the development of fair and responsible artificial intelligence. This has led to the emergence of various fairness evaluation measures, which quantify fairness based on different definitions. However, many of such measures are simply proposed and used without further analysis on their robustness. As a result, there is insufficient understanding and awareness of the measures' limitations. Among other issues, it is not known what kind of model outputs produce the (un)fairest score, how the measure scores are empirically distributed, and whether there are cases where the measures cannot be computed (e.g., due to division by zero). These issues cause difficulty in interpreting the measure scores and confusion on which measure(s) should be used for a specific case. This thesis presents a series of papers that assess and overcome various theoretical, empirical, and conceptual limitations of existing recommender system fairness evaluation measures. We investigate a wide range of offline evaluation measures for different fairness notions, divided based on the evaluation subjects (users and items) and for different evaluation granularities (groups of subjects and individual subjects). Firstly, we perform theoretical and empirical analysis on the measures, exposing flaws that limit their interpretability, expressiveness, or applicability. Secondly, we contribute novel evaluation approaches and measures that overcome these limitations. Finally, considering the measures' limitations, we recommend guidelines for the appropriate measure usage, thereby allowing for more precise selection of fairness evaluation measures in practical scenarios. Overall, this thesis contributes to advancing the state-of-the-art offline evaluation of fairness in recommender systems.