MLLM als Richter für Bildsicherheit ohne menschliche Kennzeichnung

MLLM-as-a-Judge for Image Safety without Human Labeling

December 31, 2024

Autoren: Zhenting Wang, Shuming Hu, Shiyu Zhao, Xiaowen Lin, Felix Juefei-Xu, Zhuowei Li, Ligong Han, Harihar Subramanyam, Li Chen, Jianfa Chen, Nan Jiang, Lingjuan Lyu, Shiqing Ma, Dimitris N. Metaxas, Ankit Jain

cs.AI

Zusammenfassung

Die Sicherheit von Bildinhalten ist mit dem Aufkommen visueller Medien auf Online-Plattformen zu einer bedeutenden Herausforderung geworden. In der Ära der KI-generierten Inhalte (AIGC) sind viele Bildgenerierungsmodelle in der Lage, schädliche Inhalte zu produzieren, wie z. B. Bilder mit sexuellem oder gewalttätigem Material. Daher ist es entscheidend, solche unsicheren Bilder anhand etablierter Sicherheitsregeln zu identifizieren. Vorab trainierte Multimodale Große Sprachmodelle (MLLMs) bieten in dieser Hinsicht Potenzial, aufgrund ihrer starken Mustererkennungsfähigkeiten. Gängige Ansätze beinhalten typischerweise das Feintuning von MLLMs mit menschlich gelabelten Datensätzen, was jedoch eine Reihe von Nachteilen mit sich bringt. Erstens ist es teuer und arbeitsintensiv, sich auf menschliche Annotatoren zu verlassen, um Daten gemäß komplexen und detaillierten Richtlinien zu labeln. Darüber hinaus müssen Benutzer von Sicherheitsbewertungssystemen Sicherheitsregeln möglicherweise häufig aktualisieren, was das Feintuning anhand menschlicher Annotationen erschwert. Dies wirft die Forschungsfrage auf: Können wir unsichere Bilder durch Abfragen von MLLMs in einem Zero-Shot-Setting anhand einer vordefinierten Sicherheitsverfassung (einem Satz von Sicherheitsregeln) erkennen? Unsere Forschung zeigte, dass alleiniges Abfragen vorab trainierter MLLMs keine zufriedenstellenden Ergebnisse liefert. Diese mangelnde Effektivität resultiert aus Faktoren wie der Subjektivität von Sicherheitsregeln, der Komplexität langer Verfassungen und den inhärenten Voreingenommenheiten der Modelle. Um diesen Herausforderungen zu begegnen, schlagen wir eine auf MLLM basierende Methode vor, die die Objektivierung von Sicherheitsregeln umfasst, die Relevanz zwischen Regeln und Bildern bewertet, schnelle Urteile auf der Grundlage von entbiasierten Token-Wahrscheinlichkeiten mit logisch vollständigen, aber vereinfachten Vorbedingungsketten für Sicherheitsregeln trifft und bei Bedarf eine eingehendere Argumentation mit kaskadierten Gedankengängen durchführt. Experimentelle Ergebnisse zeigen, dass unsere Methode für Zero-Shot-Bildsicherheitsbewertungsaufgaben äußerst effektiv ist.

English

Image content safety has become a significant challenge with the rise of visual media on online platforms. Meanwhile, in the age of AI-generated content (AIGC), many image generation models are capable of producing harmful content, such as images containing sexual or violent material. Thus, it becomes crucial to identify such unsafe images based on established safety rules. Pre-trained Multimodal Large Language Models (MLLMs) offer potential in this regard, given their strong pattern recognition abilities. Existing approaches typically fine-tune MLLMs with human-labeled datasets, which however brings a series of drawbacks. First, relying on human annotators to label data following intricate and detailed guidelines is both expensive and labor-intensive. Furthermore, users of safety judgment systems may need to frequently update safety rules, making fine-tuning on human-based annotation more challenging. This raises the research question: Can we detect unsafe images by querying MLLMs in a zero-shot setting using a predefined safety constitution (a set of safety rules)? Our research showed that simply querying pre-trained MLLMs does not yield satisfactory results. This lack of effectiveness stems from factors such as the subjectivity of safety rules, the complexity of lengthy constitutions, and the inherent biases in the models. To address these challenges, we propose a MLLM-based method includes objectifying safety rules, assessing the relevance between rules and images, making quick judgments based on debiased token probabilities with logically complete yet simplified precondition chains for safety rules, and conducting more in-depth reasoning with cascaded chain-of-thought processes if necessary. Experiment results demonstrate that our method is highly effective for zero-shot image safety judgment tasks.