Google広告コンテンツモデレーションのためのLLMレビューのスケールアップ

要旨

大規模言語モデル（LLM）はコンテンツモデレーションの強力なツールであるが、その推論コストとレイテンシの高さから、Google Adsリポジトリのような大規模データセットでの日常的な使用には適していない。本研究では、Google AdsにおけるコンテンツモデレーションのためのLLMレビューをスケールアップする方法を提案する。まず、ヒューリスティックを用いてフィルタリングと重複除去により候補を選び、広告のクラスタを作成し、各クラスタから代表広告を1つ選択する。次に、LLMを使用して代表広告のみをレビューする。最後に、代表広告に対するLLMの判定をそのクラスタ全体に伝播させる。この方法により、レビュー数は3桁以上削減され、非LLMベースラインモデルと比較して2倍の再現率を達成した。このアプローチの成功は、クラスタリングとラベル伝播に使用される表現に強く依存しており、クロスモーダル類似性表現がユニモーダル表現よりも優れた結果をもたらすことがわかった。

English

Large language models (LLMs) are powerful tools for content moderation, but their inference costs and latency make them prohibitive for casual use on large datasets, such as the Google Ads repository. This study proposes a method for scaling up LLM reviews for content moderation in Google Ads. First, we use heuristics to select candidates via filtering and duplicate removal, and create clusters of ads for which we select one representative ad per cluster. We then use LLMs to review only the representative ads. Finally, we propagate the LLM decisions for the representative ads back to their clusters. This method reduces the number of reviews by more than 3 orders of magnitude while achieving a 2x recall compared to a baseline non-LLM model. The success of this approach is a strong function of the representations used in clustering and label propagation; we found that cross-modal similarity representations yield better results than uni-modal representations.

Google広告コンテンツモデレーションのためのLLMレビューのスケールアップ

Scaling Up LLM Reviews for Google Ads Content Moderation

要旨

Support