Офлайн-метрики оценки справедливости в рекомендательных системах
Offline Evaluation Measures of Fairness in Recommender Systems
April 27, 2026
Авторы: Theresia Veronika Rampisela
cs.AI
Аннотация
Оценка справедливости систем рекомендаций приобретает все большее значение, особенно в свете недавнего законодательства, акцентирующего развитие справедливого и ответственного искусственного интеллекта. Это привело к появлению различных метрик оценки справедливости, которые количественно определяют справедливость на основе разных определений. Однако многие из таких метрик просто предлагаются и используются без дальнейшего анализа их устойчивости. В результате существует недостаточное понимание и осведомленность об ограничениях этих метрик. Среди прочих проблем неизвестно, какие виды выходных данных модели дают наиболее (не)справедливые оценки, как распределяются значения метрик на практике и существуют ли случаи, когда метрики невозможно вычислить (например, из-за деления на ноль). Эти проблемы затрудняют интерпретацию результатов метрик и вызывают неясность в выборе подходящей метрики для конкретного случая.
В данной диссертации представлена серия статей, в которых оцениваются и преодолеваются различные теоретические, эмпирические и концептуальные ограничения существующих метрик оценки справедливости рекомендательных систем. Мы исследуем широкий спектр оффлайн-метрик для различных концепций справедливости, классифицированных по объектам оценки (пользователи и элементы) и по уровням детализации оценки (группы субъектов и отдельные субъекты). Во-первых, мы проводим теоретический и эмпирический анализ метрик, выявляя недостатки, которые ограничивают их интерпретируемость, выразительность или применимость. Во-вторых, мы предлагаем новые подходы и метрики оценки, которые преодолевают эти ограничения. Наконец, с учетом ограничений метрик мы предлагаем рекомендации по их корректному использованию, что позволяет осуществлять более точный выбор метрик оценки справедливости в практических сценариях.
В целом, данная диссертация вносит вклад в развитие передовых методов оффлайн-оценки справедливости в рекомендательных системах.
English
The evaluation of recommender system fairness has become increasingly important, especially with recent legislation that emphasises the development of fair and responsible artificial intelligence. This has led to the emergence of various fairness evaluation measures, which quantify fairness based on different definitions. However, many of such measures are simply proposed and used without further analysis on their robustness. As a result, there is insufficient understanding and awareness of the measures' limitations. Among other issues, it is not known what kind of model outputs produce the (un)fairest score, how the measure scores are empirically distributed, and whether there are cases where the measures cannot be computed (e.g., due to division by zero). These issues cause difficulty in interpreting the measure scores and confusion on which measure(s) should be used for a specific case.
This thesis presents a series of papers that assess and overcome various theoretical, empirical, and conceptual limitations of existing recommender system fairness evaluation measures. We investigate a wide range of offline evaluation measures for different fairness notions, divided based on the evaluation subjects (users and items) and for different evaluation granularities (groups of subjects and individual subjects). Firstly, we perform theoretical and empirical analysis on the measures, exposing flaws that limit their interpretability, expressiveness, or applicability. Secondly, we contribute novel evaluation approaches and measures that overcome these limitations. Finally, considering the measures' limitations, we recommend guidelines for the appropriate measure usage, thereby allowing for more precise selection of fairness evaluation measures in practical scenarios.
Overall, this thesis contributes to advancing the state-of-the-art offline evaluation of fairness in recommender systems.