Escalando las Revisiones de LLM para la Moderación de Contenido en Google Ads

Scaling Up LLM Reviews for Google Ads Content Moderation

February 7, 2024

Autores: Wei Qiao, Tushar Dogra, Otilia Stretcu, Yu-Han Lyu, Tiantian Fang, Dongjin Kwon, Chun-Ta Lu, Enming Luo, Yuan Wang, Chih-Chun Chia, Ariel Fuxman, Fangzhou Wang, Ranjay Krishna, Mehmet Tek

cs.AI

Resumen

Los modelos de lenguaje de gran escala (LLMs, por sus siglas en inglés) son herramientas poderosas para la moderación de contenido, pero sus costos de inferencia y latencia los hacen prohibitivos para su uso casual en grandes conjuntos de datos, como el repositorio de Google Ads. Este estudio propone un método para escalar las revisiones de LLMs para la moderación de contenido en Google Ads. Primero, utilizamos heurísticas para seleccionar candidatos mediante filtrado y eliminación de duplicados, y creamos grupos de anuncios para los cuales seleccionamos un anuncio representativo por grupo. Luego, utilizamos LLMs para revisar únicamente los anuncios representativos. Finalmente, propagamos las decisiones de los LLMs para los anuncios representativos de vuelta a sus grupos. Este método reduce el número de revisiones en más de 3 órdenes de magnitud mientras logra un recall 2 veces mayor en comparación con un modelo de referencia no basado en LLMs. El éxito de este enfoque depende en gran medida de las representaciones utilizadas en la agrupación y la propagación de etiquetas; encontramos que las representaciones de similitud multimodal arrojan mejores resultados que las representaciones unimodales.

English

Large language models (LLMs) are powerful tools for content moderation, but their inference costs and latency make them prohibitive for casual use on large datasets, such as the Google Ads repository. This study proposes a method for scaling up LLM reviews for content moderation in Google Ads. First, we use heuristics to select candidates via filtering and duplicate removal, and create clusters of ads for which we select one representative ad per cluster. We then use LLMs to review only the representative ads. Finally, we propagate the LLM decisions for the representative ads back to their clusters. This method reduces the number of reviews by more than 3 orders of magnitude while achieving a 2x recall compared to a baseline non-LLM model. The success of this approach is a strong function of the representations used in clustering and label propagation; we found that cross-modal similarity representations yield better results than uni-modal representations.