ShieldGemma: Moderación de contenido de IA generativa basada en Gemma

ShieldGemma: Generative AI Content Moderation Based on Gemma

July 31, 2024

Autores: Wenjun Zeng, Yuchi Liu, Ryan Mullins, Ludovic Peran, Joe Fernandez, Hamza Harkous, Karthik Narasimhan, Drew Proud, Piyush Kumar, Bhaktipriya Radharapu, Olivia Sturman, Oscar Wahltinez

cs.AI

Resumen

Presentamos ShieldGemma, una completa suite de modelos de moderación de contenido de seguridad basados en LLM construidos sobre Gemma2. Estos modelos ofrecen predicciones sólidas y de vanguardia sobre riesgos de seguridad en tipos clave de daño (contenido sexualmente explícito, peligroso, acoso, discurso de odio) tanto en la entrada de usuario como en la salida generada por LLM. Al evaluar en benchmarks públicos e internos, demostramos un rendimiento superior en comparación con modelos existentes, como Llama Guard (+10.8\% AU-PRC en benchmarks públicos) y WildCard (+4.3%). Además, presentamos un novedoso pipeline de curación de datos basado en LLM, adaptable a una variedad de tareas relacionadas con la seguridad y más allá. Hemos demostrado un sólido rendimiento de generalización para el modelo entrenado principalmente en datos sintéticos. Al liberar ShieldGemma, proporcionamos un recurso valioso para la comunidad de investigación, avanzando en la seguridad de LLM y permitiendo la creación de soluciones de moderación de contenido más efectivas para desarrolladores.

English

We present ShieldGemma, a comprehensive suite of LLM-based safety content moderation models built upon Gemma2. These models provide robust, state-of-the-art predictions of safety risks across key harm types (sexually explicit, dangerous content, harassment, hate speech) in both user input and LLM-generated output. By evaluating on both public and internal benchmarks, we demonstrate superior performance compared to existing models, such as Llama Guard (+10.8\% AU-PRC on public benchmarks) and WildCard (+4.3\%). Additionally, we present a novel LLM-based data curation pipeline, adaptable to a variety of safety-related tasks and beyond. We have shown strong generalization performance for model trained mainly on synthetic data. By releasing ShieldGemma, we provide a valuable resource to the research community, advancing LLM safety and enabling the creation of more effective content moderation solutions for developers.