Misure di Valutazione Offline dell'Equità nei Sistemi di Raccomandazione

Offline Evaluation Measures of Fairness in Recommender Systems

April 27, 2026

Autori: Theresia Veronika Rampisela

cs.AI

Abstract

La valutazione dell'equità dei sistemi di raccomandazione è diventata sempre più importante, specialmente con la recente legislazione che enfatizza lo sviluppo di un'intelligenza artificiale equa e responsabile. Ciò ha portato all'emergere di varie misure di valutazione dell'equità, che quantificano l'equità basandosi su diverse definizioni. Tuttavia, molte di queste misure vengono semplicemente proposte e utilizzate senza un'analisi approfondita della loro robustezza. Di conseguenza, vi è una comprensione e una consapevolezza insufficienti delle limitazioni di tali misure. Tra le altre problematiche, non è noto quale tipo di output del modello produca il punteggio più (o meno) equo, come siano distribuiti empiricamente i punteggi delle misure, e se esistano casi in cui le misure non possano essere calcolate (ad esempio, a causa di una divisione per zero). Questi problemi causano difficoltà nell'interpretazione dei punteggi delle misure e confusione su quale misura o misure dovrebbero essere utilizzate per un caso specifico. Questa tesi presenta una serie di articoli che valutano e superano varie limitazioni teoriche, empiriche e concettuali delle misure di valutazione dell'equità esistenti per i sistemi di raccomandazione. Investigiamo un'ampia gamma di misure di valutazione offline per diverse nozioni di equità, suddivise in base ai soggetti della valutazione (utenti e elementi) e per diverse granularità di valutazione (gruppi di soggetti e singoli soggetti). In primo luogo, eseguiamo un'analisi teorica ed empirica delle misure, esponendo difetti che ne limitano l'interpretabilità, l'espressività o l'applicabilità. In secondo luogo, contribuiamo con nuovi approcci e misure di valutazione che superano queste limitazioni. Infine, considerando le limitazioni delle misure, raccomandiamo linee guida per l'uso appropriato delle stesse, consentendo così una selezione più precisa delle misure di valutazione dell'equità negli scenari pratici. Nel complesso, questa tesi contribuisce a far avanzare lo stato dell'arte della valutazione offline dell'equità nei sistemi di raccomandazione.

English

The evaluation of recommender system fairness has become increasingly important, especially with recent legislation that emphasises the development of fair and responsible artificial intelligence. This has led to the emergence of various fairness evaluation measures, which quantify fairness based on different definitions. However, many of such measures are simply proposed and used without further analysis on their robustness. As a result, there is insufficient understanding and awareness of the measures' limitations. Among other issues, it is not known what kind of model outputs produce the (un)fairest score, how the measure scores are empirically distributed, and whether there are cases where the measures cannot be computed (e.g., due to division by zero). These issues cause difficulty in interpreting the measure scores and confusion on which measure(s) should be used for a specific case. This thesis presents a series of papers that assess and overcome various theoretical, empirical, and conceptual limitations of existing recommender system fairness evaluation measures. We investigate a wide range of offline evaluation measures for different fairness notions, divided based on the evaluation subjects (users and items) and for different evaluation granularities (groups of subjects and individual subjects). Firstly, we perform theoretical and empirical analysis on the measures, exposing flaws that limit their interpretability, expressiveness, or applicability. Secondly, we contribute novel evaluation approaches and measures that overcome these limitations. Finally, considering the measures' limitations, we recommend guidelines for the appropriate measure usage, thereby allowing for more precise selection of fairness evaluation measures in practical scenarios. Overall, this thesis contributes to advancing the state-of-the-art offline evaluation of fairness in recommender systems.