ShieldGemma: Generative KI-Inhaltsmoderation basierend auf Gemma

ShieldGemma: Generative AI Content Moderation Based on Gemma

July 31, 2024

Autoren: Wenjun Zeng, Yuchi Liu, Ryan Mullins, Ludovic Peran, Joe Fernandez, Hamza Harkous, Karthik Narasimhan, Drew Proud, Piyush Kumar, Bhaktipriya Radharapu, Olivia Sturman, Oscar Wahltinez

cs.AI

Zusammenfassung

Wir präsentieren ShieldGemma, eine umfassende Suite von auf Gemma2 aufbauenden Sicherheitsmodellierungsmodellen auf Basis von LLM. Diese Modelle bieten robuste, modernste Vorhersagen von Sicherheitsrisiken über verschiedene Schadensarten (sexuell explizite, gefährliche Inhalte, Belästigung, Hassrede) sowohl in Benutzereingaben als auch in LLM-generierten Ausgaben. Durch die Evaluation an öffentlichen und internen Benchmarks zeigen wir eine überlegene Leistung im Vergleich zu bestehenden Modellen wie Llama Guard (+10,8\% AU-PRC bei öffentlichen Benchmarks) und WildCard (+4,3\%). Darüber hinaus präsentieren wir eine neuartige LLM-basierte Datenkuratierungspipeline, die an verschiedene sicherheitsrelevante Aufgaben und darüber hinaus anpassbar ist. Wir haben eine starke Generalisierungsleistung für Modelle gezeigt, die hauptsächlich auf synthetischen Daten trainiert wurden. Durch die Veröffentlichung von ShieldGemma stellen wir der Forschungsgemeinschaft eine wertvolle Ressource zur Verfügung, die die Sicherheit von LLM vorantreibt und die Entwicklung effektiverer Inhaltsmoderationslösungen für Entwickler ermöglicht.

English

We present ShieldGemma, a comprehensive suite of LLM-based safety content moderation models built upon Gemma2. These models provide robust, state-of-the-art predictions of safety risks across key harm types (sexually explicit, dangerous content, harassment, hate speech) in both user input and LLM-generated output. By evaluating on both public and internal benchmarks, we demonstrate superior performance compared to existing models, such as Llama Guard (+10.8\% AU-PRC on public benchmarks) and WildCard (+4.3\%). Additionally, we present a novel LLM-based data curation pipeline, adaptable to a variety of safety-related tasks and beyond. We have shown strong generalization performance for model trained mainly on synthetic data. By releasing ShieldGemma, we provide a valuable resource to the research community, advancing LLM safety and enabling the creation of more effective content moderation solutions for developers.