Поиск надежных метрик ответственного ИИ
The Quest for Reliable Metrics of Responsible AI
October 29, 2025
Авторы: Theresia Veronika Rampisela, Maria Maistro, Tuukka Ruotsalo, Christina Lioma
cs.AI
Аннотация
Разработка искусственного интеллекта (ИИ), включая ИИ в науке (ИИ-Н), должна осуществляться в соответствии с принципами ответственного ИИ. Прогресс в области ответственного ИИ часто оценивается с помощью метрик, однако работ, посвященных оценке устойчивости и надежности самих этих метрик, было меньше. Мы анализируем предыдущие исследования, изучающие устойчивость метрик справедливости для рекомендательных систем как одного из типов приложений ИИ, и обобщаем их ключевые выводы в виде набора неисчерпывающих рекомендаций по разработке надежных метрик для ответственного ИИ. Наши рекомендации применимы к широкому спектру приложений ИИ, включая ИИ-Н.
English
The development of Artificial Intelligence (AI), including AI in Science
(AIS), should be done following the principles of responsible AI. Progress in
responsible AI is often quantified through evaluation metrics, yet there has
been less work on assessing the robustness and reliability of the metrics
themselves. We reflect on prior work that examines the robustness of fairness
metrics for recommender systems as a type of AI application and summarise their
key takeaways into a set of non-exhaustive guidelines for developing reliable
metrics of responsible AI. Our guidelines apply to a broad spectrum of AI
applications, including AIS.