A Busca por Métricas Confiáveis para uma IA Responsável
The Quest for Reliable Metrics of Responsible AI
October 29, 2025
Autores: Theresia Veronika Rampisela, Maria Maistro, Tuukka Ruotsalo, Christina Lioma
cs.AI
Resumo
O desenvolvimento da Inteligência Artificial (IA), incluindo a IA na Ciência (IAC), deve ser realizado seguindo os princípios da IA responsável. O progresso na IA responsável é frequentemente quantificado por meio de métricas de avaliação, contudo, tem havido menos trabalho na avaliação da robustez e confiabilidade das próprias métricas. Refletimos sobre trabalhos anteriores que examinam a robustez de métricas de justiça para sistemas de recomendação, como um tipo de aplicação de IA, e resumimos as suas principais conclusões num conjunto de diretrizes não exaustivas para o desenvolvimento de métricas confiáveis de IA responsável. As nossas diretrizes aplicam-se a um amplo espectro de aplicações de IA, incluindo a IAC.
English
The development of Artificial Intelligence (AI), including AI in Science
(AIS), should be done following the principles of responsible AI. Progress in
responsible AI is often quantified through evaluation metrics, yet there has
been less work on assessing the robustness and reliability of the metrics
themselves. We reflect on prior work that examines the robustness of fairness
metrics for recommender systems as a type of AI application and summarise their
key takeaways into a set of non-exhaustive guidelines for developing reliable
metrics of responsible AI. Our guidelines apply to a broad spectrum of AI
applications, including AIS.