Een raamwerk voor geautomatiseerde meting van schade door verantwoorde AI in generatieve AI-toepassingen
A Framework for Automated Measurement of Responsible AI Harms in Generative AI Applications
October 26, 2023
Auteurs: Ahmed Magooda, Alec Helyar, Kyle Jackson, David Sullivan, Chad Atalla, Emily Sheng, Dan Vann, Richard Edgar, Hamid Palangi, Roman Lutz, Hongliang Kong, Vincent Yun, Eslam Kamal, Federico Zarfati, Hanna Wallach, Sarah Bird, Mei Chen
cs.AI
Samenvatting
We presenteren een raamwerk voor de geautomatiseerde meting van verantwoorde AI (RAI)-metrieken voor grote taalmodelen (LLM's) en bijbehorende producten en diensten. Ons raamwerk voor het automatisch meten van schade door LLM's bouwt voort op bestaande technische en sociotechnische expertise en maakt gebruik van de mogelijkheden van state-of-the-art LLM's, zoals GPT-4. We gebruiken dit raamwerk om verschillende casestudies door te lopen die onderzoeken hoe verschillende LLM's een reeks RAI-gerelateerde principes kunnen schenden. Het raamwerk kan worden ingezet naast domeinspecifieke sociotechnische expertise om in de toekomst metingen te creëren voor nieuwe schadegebieden. Door dit raamwerk te implementeren, streven we ernaar om meer geavanceerde inspanningen voor het meten van schade mogelijk te maken en het verantwoorde gebruik van LLM's te bevorderen.
English
We present a framework for the automated measurement of responsible AI (RAI)
metrics for large language models (LLMs) and associated products and services.
Our framework for automatically measuring harms from LLMs builds on existing
technical and sociotechnical expertise and leverages the capabilities of
state-of-the-art LLMs, such as GPT-4. We use this framework to run through
several case studies investigating how different LLMs may violate a range of
RAI-related principles. The framework may be employed alongside domain-specific
sociotechnical expertise to create measurements for new harm areas in the
future. By implementing this framework, we aim to enable more advanced harm
measurement efforts and further the responsible use of LLMs.