Het Opschalen van LLM-beoordelingen voor Contentmoderatie van Google Ads

Scaling Up LLM Reviews for Google Ads Content Moderation

February 7, 2024

Auteurs: Wei Qiao, Tushar Dogra, Otilia Stretcu, Yu-Han Lyu, Tiantian Fang, Dongjin Kwon, Chun-Ta Lu, Enming Luo, Yuan Wang, Chih-Chun Chia, Ariel Fuxman, Fangzhou Wang, Ranjay Krishna, Mehmet Tek

cs.AI

Samenvatting

Grote taalmodelen (LLMs) zijn krachtige hulpmiddelen voor contentmoderatie, maar hun inferentiekosten en latentie maken ze ongeschikt voor incidenteel gebruik op grote datasets, zoals de Google Ads-repository. Deze studie stelt een methode voor om LLM-beoordelingen voor contentmoderatie in Google Ads op te schalen. Eerst gebruiken we heuristieken om kandidaten te selecteren via filtering en het verwijderen van duplicaten, en creëren we clusters van advertenties waarvoor we één representatieve advertentie per cluster selecteren. Vervolgens gebruiken we LLMs om alleen de representatieve advertenties te beoordelen. Ten slotte verspreiden we de LLM-beslissingen voor de representatieve advertenties terug naar hun clusters. Deze methode reduceert het aantal beoordelingen met meer dan 3 ordes van grootte, terwijl een 2x hogere recall wordt bereikt vergeleken met een baseline-model zonder LLM. Het succes van deze aanpak hangt sterk samen met de representaties die worden gebruikt bij het clusteren en het doorgeven van labels; we ontdekten dat cross-modale gelijkenisrepresentaties betere resultaten opleveren dan uni-modale representaties.

English

Large language models (LLMs) are powerful tools for content moderation, but their inference costs and latency make them prohibitive for casual use on large datasets, such as the Google Ads repository. This study proposes a method for scaling up LLM reviews for content moderation in Google Ads. First, we use heuristics to select candidates via filtering and duplicate removal, and create clusters of ads for which we select one representative ad per cluster. We then use LLMs to review only the representative ads. Finally, we propagate the LLM decisions for the representative ads back to their clusters. This method reduces the number of reviews by more than 3 orders of magnitude while achieving a 2x recall compared to a baseline non-LLM model. The success of this approach is a strong function of the representations used in clustering and label propagation; we found that cross-modal similarity representations yield better results than uni-modal representations.