De zoektocht naar betrouwbare meetmethoden voor verantwoorde kunstmatige intelligentie
The Quest for Reliable Metrics of Responsible AI
October 29, 2025
Auteurs: Theresia Veronika Rampisela, Maria Maistro, Tuukka Ruotsalo, Christina Lioma
cs.AI
Samenvatting
De ontwikkeling van kunstmatige intelligentie (KI), inclusief KI in de wetenschap (KIDW), dient plaats te vinden volgens de principes van verantwoorde KI. Vooruitgang in verantwoorde KI wordt vaak gekwantificeerd door middel van evaluatiemetrics, maar er is minder werk verricht om de robuustheid en betrouwbaarheid van de metrics zelf te beoordelen. Wij reflecteren op eerder onderzoek dat de robuustheid van fairness-metrics voor aanbevelingssystemen als een type KI-toepassing onderzoekt, en vatten de belangrijkste bevattingen samen in een reeks niet-uitputtende richtlijnen voor het ontwikkelen van betrouwbare metrics voor verantwoorde KI. Onze richtlijnen zijn van toepassing op een breed spectrum van KI-toepassingen, inclusief KIDW.
English
The development of Artificial Intelligence (AI), including AI in Science
(AIS), should be done following the principles of responsible AI. Progress in
responsible AI is often quantified through evaluation metrics, yet there has
been less work on assessing the robustness and reliability of the metrics
themselves. We reflect on prior work that examines the robustness of fairness
metrics for recommender systems as a type of AI application and summarise their
key takeaways into a set of non-exhaustive guidelines for developing reliable
metrics of responsible AI. Our guidelines apply to a broad spectrum of AI
applications, including AIS.