責任あるAIの信頼性指標を求めて

The Quest for Reliable Metrics of Responsible AI

October 29, 2025

著者: Theresia Veronika Rampisela, Maria Maistro, Tuukka Ruotsalo, Christina Lioma

cs.AI

要旨

人工知能（AI）、および科学分野におけるAI（AIS）の開発は、責任あるAIの原則に従って行われるべきである。責任あるAIの進展は、多くの場合、評価指標を通じて定量化されるが、指標そのものの頑健性と信頼性を評価する研究は比較的少ない。本稿では、AIアプリケーションの一種である推薦システムの公平性指標の頑健性を検証した先行研究を振り返り、その重要な知見を、信頼性の高い責任あるAIの指標を開発するための非網羅的なガイドラインにまとめる。我々のガイドラインは、AISを含む幅広いAIアプリケーションに適用可能である。

English

The development of Artificial Intelligence (AI), including AI in Science (AIS), should be done following the principles of responsible AI. Progress in responsible AI is often quantified through evaluation metrics, yet there has been less work on assessing the robustness and reliability of the metrics themselves. We reflect on prior work that examines the robustness of fairness metrics for recommender systems as a type of AI application and summarise their key takeaways into a set of non-exhaustive guidelines for developing reliable metrics of responsible AI. Our guidelines apply to a broad spectrum of AI applications, including AIS.