ShieldGemma : Modération de contenu par IA générative basée sur Gemma

ShieldGemma: Generative AI Content Moderation Based on Gemma

July 31, 2024

Auteurs: Wenjun Zeng, Yuchi Liu, Ryan Mullins, Ludovic Peran, Joe Fernandez, Hamza Harkous, Karthik Narasimhan, Drew Proud, Piyush Kumar, Bhaktipriya Radharapu, Olivia Sturman, Oscar Wahltinez

cs.AI

Résumé

Nous présentons ShieldGemma, une suite complète de modèles de modération de contenu basés sur des LLM (modèles de langage de grande taille), construits sur Gemma2. Ces modèles offrent des prédictions robustes et de pointe en matière de risques de sécurité pour les principaux types de contenus nuisibles (contenu sexuellement explicite, contenu dangereux, harcèlement, discours haineux) dans les entrées utilisateur et les sorties générées par les LLM. En évaluant à la fois sur des benchmarks publics et internes, nous démontrons une performance supérieure par rapport aux modèles existants, tels que Llama Guard (+10,8\% AU-PRC sur les benchmarks publics) et WildCard (+4,3\%). De plus, nous présentons un pipeline novateur de curation de données basé sur les LLM, adaptable à une variété de tâches liées à la sécurité et au-delà. Nous avons montré une forte performance de généralisation pour les modèles principalement entraînés sur des données synthétiques. En publiant ShieldGemma, nous offrons une ressource précieuse à la communauté de recherche, faisant progresser la sécurité des LLM et permettant la création de solutions de modération de contenu plus efficaces pour les développeurs.

English

We present ShieldGemma, a comprehensive suite of LLM-based safety content moderation models built upon Gemma2. These models provide robust, state-of-the-art predictions of safety risks across key harm types (sexually explicit, dangerous content, harassment, hate speech) in both user input and LLM-generated output. By evaluating on both public and internal benchmarks, we demonstrate superior performance compared to existing models, such as Llama Guard (+10.8\% AU-PRC on public benchmarks) and WildCard (+4.3\%). Additionally, we present a novel LLM-based data curation pipeline, adaptable to a variety of safety-related tasks and beyond. We have shown strong generalization performance for model trained mainly on synthetic data. By releasing ShieldGemma, we provide a valuable resource to the research community, advancing LLM safety and enabling the creation of more effective content moderation solutions for developers.