ShieldGemma: Generatieve AI-inhoudsmoderatie gebaseerd op Gemma

ShieldGemma: Generative AI Content Moderation Based on Gemma

July 31, 2024

Auteurs: Wenjun Zeng, Yuchi Liu, Ryan Mullins, Ludovic Peran, Joe Fernandez, Hamza Harkous, Karthik Narasimhan, Drew Proud, Piyush Kumar, Bhaktipriya Radharapu, Olivia Sturman, Oscar Wahltinez

cs.AI

Samenvatting

We presenteren ShieldGemma, een uitgebreide suite van LLM-gebaseerde veiligheidsmodellen voor contentmoderatie, gebouwd op Gemma2. Deze modellen bieden robuuste, state-of-the-art voorspellingen van veiligheidsrisico's voor belangrijke schadetypen (seksueel expliciet, gevaarlijke inhoud, intimidatie, haatzaaien) in zowel gebruikersinput als LLM-gegenereerde output. Door evaluatie op zowel publieke als interne benchmarks tonen we superieure prestaties aan in vergelijking met bestaande modellen, zoals Llama Guard (+10,8\% AU-PRC op publieke benchmarks) en WildCard (+4,3\%). Daarnaast presenteren we een innovatieve LLM-gebaseerde datacuratiepipeline, die aanpasbaar is voor diverse veiligheidsgerelateerde taken en meer. We hebben sterke generalisatieprestaties aangetoond voor modellen die voornamelijk op synthetische data zijn getraind. Door ShieldGemma vrij te geven, bieden we een waardevolle bron aan de onderzoeksgemeenschap, waardoor de veiligheid van LLM's wordt bevorderd en ontwikkelaars effectievere oplossingen voor contentmoderatie kunnen creëren.

English

We present ShieldGemma, a comprehensive suite of LLM-based safety content moderation models built upon Gemma2. These models provide robust, state-of-the-art predictions of safety risks across key harm types (sexually explicit, dangerous content, harassment, hate speech) in both user input and LLM-generated output. By evaluating on both public and internal benchmarks, we demonstrate superior performance compared to existing models, such as Llama Guard (+10.8\% AU-PRC on public benchmarks) and WildCard (+4.3\%). Additionally, we present a novel LLM-based data curation pipeline, adaptable to a variety of safety-related tasks and beyond. We have shown strong generalization performance for model trained mainly on synthetic data. By releasing ShieldGemma, we provide a valuable resource to the research community, advancing LLM safety and enabling the creation of more effective content moderation solutions for developers.