ShieldGemma: Генеративная модерация контента на основе Gemma

ShieldGemma: Generative AI Content Moderation Based on Gemma

July 31, 2024

Авторы: Wenjun Zeng, Yuchi Liu, Ryan Mullins, Ludovic Peran, Joe Fernandez, Hamza Harkous, Karthik Narasimhan, Drew Proud, Piyush Kumar, Bhaktipriya Radharapu, Olivia Sturman, Oscar Wahltinez

cs.AI

Аннотация

Мы представляем ShieldGemma, комплексный набор моделей модерации контента безопасности на основе LLM, построенных на Gemma2. Эти модели обеспечивают надежные, современные прогнозы рисков безопасности по ключевым типам вреда (сексуально откровенный, опасный контент, домогательства, ненавистная речь) как в пользовательском вводе, так и в выводе, сгенерированном LLM. Оцениваясь на общедоступных и внутренних бенчмарках, мы демонстрируем превосходную производительность по сравнению с существующими моделями, такими как Llama Guard (+10.8\% AU-PRC на общедоступных бенчмарках) и WildCard (+4.3%). Кроме того, мы представляем новый конвейер кураторства данных на основе LLM, адаптируемый для различных задач, связанных с безопасностью, и не только. Мы продемонстрировали сильную обобщающую производительность модели, обученной в основном на синтетических данных. Предоставляя ShieldGemma, мы предоставляем ценный ресурс исследовательскому сообществу, продвигая безопасность LLM и обеспечивая создание более эффективных решений модерации контента для разработчиков.

English

We present ShieldGemma, a comprehensive suite of LLM-based safety content moderation models built upon Gemma2. These models provide robust, state-of-the-art predictions of safety risks across key harm types (sexually explicit, dangerous content, harassment, hate speech) in both user input and LLM-generated output. By evaluating on both public and internal benchmarks, we demonstrate superior performance compared to existing models, such as Llama Guard (+10.8\% AU-PRC on public benchmarks) and WildCard (+4.3\%). Additionally, we present a novel LLM-based data curation pipeline, adaptable to a variety of safety-related tasks and beyond. We have shown strong generalization performance for model trained mainly on synthetic data. By releasing ShieldGemma, we provide a valuable resource to the research community, advancing LLM safety and enabling the creation of more effective content moderation solutions for developers.