Die Suche nach verlässlichen Metriken für verantwortungsvolle KI
The Quest for Reliable Metrics of Responsible AI
October 29, 2025
papers.authors: Theresia Veronika Rampisela, Maria Maistro, Tuukka Ruotsalo, Christina Lioma
cs.AI
papers.abstract
Die Entwicklung Künstlicher Intelligenz (KI), einschließlich KI in der Wissenschaft, sollte nach den Prinzipien verantwortungsvoller KI erfolgen. Fortschritte in diesem Bereich werden häufig durch Evaluierungsmetriken quantifiziert, jedoch gab es bisher weniger Arbeiten zur Bewertung der Robustheit und Zuverlässigkeit der Metriken selbst. Wir reflektieren über frühere Arbeiten, die die Robustheit von Fairness-Metriken für Empfehlungssysteme als eine Art von KI-Anwendung untersuchen, und fassen deren zentrale Erkenntnisse in einem nicht-erschöpfenden Leitfaden zur Entwicklung zuverlässiger Metriken für verantwortungsvolle KI zusammen. Unsere Leitlinien gelten für ein breites Spektrum von KI-Anwendungen, einschließlich KI in der Wissenschaft.
English
The development of Artificial Intelligence (AI), including AI in Science
(AIS), should be done following the principles of responsible AI. Progress in
responsible AI is often quantified through evaluation metrics, yet there has
been less work on assessing the robustness and reliability of the metrics
themselves. We reflect on prior work that examines the robustness of fairness
metrics for recommender systems as a type of AI application and summarise their
key takeaways into a set of non-exhaustive guidelines for developing reliable
metrics of responsible AI. Our guidelines apply to a broad spectrum of AI
applications, including AIS.