Un Cadre pour la Mesure Automatisée des Préjudices liés à l'IA Responsable dans les Applications d'IA Générative
A Framework for Automated Measurement of Responsible AI Harms in Generative AI Applications
October 26, 2023
papers.authors: Ahmed Magooda, Alec Helyar, Kyle Jackson, David Sullivan, Chad Atalla, Emily Sheng, Dan Vann, Richard Edgar, Hamid Palangi, Roman Lutz, Hongliang Kong, Vincent Yun, Eslam Kamal, Federico Zarfati, Hanna Wallach, Sarah Bird, Mei Chen
cs.AI
papers.abstract
Nous présentons un cadre pour la mesure automatisée des métriques d'IA responsable (RAI) pour les grands modèles de langage (LLM) ainsi que pour les produits et services associés. Notre cadre pour mesurer automatiquement les préjudices causés par les LLM s'appuie sur l'expertise technique et sociotechnique existante et exploite les capacités des LLM de pointe, tels que GPT-4. Nous utilisons ce cadre pour mener plusieurs études de cas examinant comment différents LLM peuvent enfreindre une série de principes liés à la RAI. Ce cadre peut être employé conjointement avec une expertise sociotechnique spécifique à un domaine pour créer des mesures pour de nouveaux domaines de préjudices à l'avenir. En mettant en œuvre ce cadre, nous visons à permettre des efforts de mesure des préjudices plus avancés et à promouvoir une utilisation responsable des LLM.
English
We present a framework for the automated measurement of responsible AI (RAI)
metrics for large language models (LLMs) and associated products and services.
Our framework for automatically measuring harms from LLMs builds on existing
technical and sociotechnical expertise and leverages the capabilities of
state-of-the-art LLMs, such as GPT-4. We use this framework to run through
several case studies investigating how different LLMs may violate a range of
RAI-related principles. The framework may be employed alongside domain-specific
sociotechnical expertise to create measurements for new harm areas in the
future. By implementing this framework, we aim to enable more advanced harm
measurement efforts and further the responsible use of LLMs.