Métricas de Evaluación Offline de Equidad en Sistemas de Recomendación

Offline Evaluation Measures of Fairness in Recommender Systems

April 27, 2026

Autores: Theresia Veronika Rampisela

cs.AI

Resumen

La evaluación de la equidad en los sistemas de recomendación ha adquirido una importancia creciente, especialmente con la reciente legislación que enfatiza el desarrollo de una inteligencia artificial justa y responsable. Esto ha dado lugar a la aparición de diversas medidas de evaluación de la equidad, que cuantifican la justicia basándose en diferentes definiciones. Sin embargo, muchas de estas medidas se proponen y utilizan sin un análisis más profundo sobre su robustez. Como resultado, existe una comprensión y conciencia insuficientes sobre las limitaciones de las medidas. Entre otros problemas, se desconoce qué tipo de salidas del modelo producen la puntuación más (in)justa, cómo se distribuyen empíricamente las puntuaciones de la medida y si existen casos en los que las medidas no pueden calcularse (por ejemplo, debido a una división por cero). Estos problemas dificultan la interpretación de las puntuaciones de las medidas y generan confusión sobre qué medida o medidas deben utilizarse para un caso específico. Esta tesis presenta una serie de artículos que evalúan y superan diversas limitaciones teóricas, empíricas y conceptuales de las medidas existentes para evaluar la equidad en los sistemas de recomendación. Investigamos una amplia gama de medidas de evaluación offline para diferentes nociones de equidad, divididas en función de los sujetos de evaluación (usuarios e ítems) y para diferentes granularidades de evaluación (grupos de sujetos y sujetos individuales). En primer lugar, realizamos un análisis teórico y empírico de las medidas, exponiendo deficiencias que limitan su interpretabilidad, expresividad o aplicabilidad. En segundo lugar, contribuimos con nuevos enfoques y medidas de evaluación que superan estas limitaciones. Finalmente, considerando las limitaciones de las medidas, recomendamos directrices para el uso adecuado de las medidas, permitiendo así una selección más precisa de las medidas de evaluación de la equidad en escenarios prácticos. En conjunto, esta tesis contribuye a avanzar en el estado del arte de la evaluación offline de la equidad en los sistemas de recomendación.

English

The evaluation of recommender system fairness has become increasingly important, especially with recent legislation that emphasises the development of fair and responsible artificial intelligence. This has led to the emergence of various fairness evaluation measures, which quantify fairness based on different definitions. However, many of such measures are simply proposed and used without further analysis on their robustness. As a result, there is insufficient understanding and awareness of the measures' limitations. Among other issues, it is not known what kind of model outputs produce the (un)fairest score, how the measure scores are empirically distributed, and whether there are cases where the measures cannot be computed (e.g., due to division by zero). These issues cause difficulty in interpreting the measure scores and confusion on which measure(s) should be used for a specific case. This thesis presents a series of papers that assess and overcome various theoretical, empirical, and conceptual limitations of existing recommender system fairness evaluation measures. We investigate a wide range of offline evaluation measures for different fairness notions, divided based on the evaluation subjects (users and items) and for different evaluation granularities (groups of subjects and individual subjects). Firstly, we perform theoretical and empirical analysis on the measures, exposing flaws that limit their interpretability, expressiveness, or applicability. Secondly, we contribute novel evaluation approaches and measures that overcome these limitations. Finally, considering the measures' limitations, we recommend guidelines for the appropriate measure usage, thereby allowing for more precise selection of fairness evaluation measures in practical scenarios. Overall, this thesis contributes to advancing the state-of-the-art offline evaluation of fairness in recommender systems.