AdamMeme: Adaptive Untersuchung der Argumentationsfähigkeit multimodaler großer Sprachmodelle hinsichtlich Schädlichkeit

AdamMeme: Adaptively Probe the Reasoning Capacity of Multimodal Large Language Models on Harmfulness

July 2, 2025

papers.authors: Zixin Chen, Hongzhan Lin, Kaixin Li, Ziyang Luo, Zhen Ye, Guang Chen, Zhiyong Huang, Jing Ma

cs.AI

papers.abstract

Die Verbreitung multimodaler Memes im Zeitalter der sozialen Medien erfordert, dass multimodale Large Language Models (mLLMs) die Schädlichkeit von Memes effektiv verstehen. Bestehende Benchmarks zur Bewertung von mLLMs im Hinblick auf das Verständnis schädlicher Memes stützen sich auf modellagnostische, auf Genauigkeit basierende Bewertungen mit statischen Datensätzen. Diese Benchmarks sind in ihrer Fähigkeit eingeschränkt, aktuelle und umfassende Bewertungen zu liefern, da sich Online-Memes dynamisch weiterentwickeln. Um dies zu adressieren, schlagen wir AdamMeme vor, ein flexibles, agentenbasiertes Bewertungsframework, das die Fähigkeiten von mLLMs zur Entschlüsselung der Schädlichkeit von Memes adaptiv untersucht. Durch die Zusammenarbeit mehrerer Agenten bietet AdamMeme umfassende Bewertungen, indem es die Meme-Daten iterativ mit herausfordernden Beispielen aktualisiert und so spezifische Schwächen in der Interpretation der Schädlichkeit durch mLLMs aufdeckt. Umfangreiche Experimente zeigen, dass unser Framework systematisch die unterschiedliche Leistung verschiedener Ziel-mLLMs offenlegt und detaillierte, feingranulare Analysen modellspezifischer Schwächen liefert. Unser Code ist verfügbar unter https://github.com/Lbotirx/AdamMeme.

English

The proliferation of multimodal memes in the social media era demands that multimodal Large Language Models (mLLMs) effectively understand meme harmfulness. Existing benchmarks for assessing mLLMs on harmful meme understanding rely on accuracy-based, model-agnostic evaluations using static datasets. These benchmarks are limited in their ability to provide up-to-date and thorough assessments, as online memes evolve dynamically. To address this, we propose AdamMeme, a flexible, agent-based evaluation framework that adaptively probes the reasoning capabilities of mLLMs in deciphering meme harmfulness. Through multi-agent collaboration, AdamMeme provides comprehensive evaluations by iteratively updating the meme data with challenging samples, thereby exposing specific limitations in how mLLMs interpret harmfulness. Extensive experiments show that our framework systematically reveals the varying performance of different target mLLMs, offering in-depth, fine-grained analyses of model-specific weaknesses. Our code is available at https://github.com/Lbotirx/AdamMeme.