AdamMeme : Sonder de manière adaptative la capacité de raisonnement des modèles de langage multimodaux de grande taille sur la notion de nocivité

AdamMeme: Adaptively Probe the Reasoning Capacity of Multimodal Large Language Models on Harmfulness

July 2, 2025

papers.authors: Zixin Chen, Hongzhan Lin, Kaixin Li, Ziyang Luo, Zhen Ye, Guang Chen, Zhiyong Huang, Jing Ma

cs.AI

papers.abstract

La prolifération des mèmes multimodaux à l'ère des réseaux sociaux exige que les modèles de langage multimodaux de grande envergure (mLLMs) comprennent efficacement la nocivité des mèmes. Les benchmarks existants pour évaluer les mLLMs sur la compréhension des mèmes nocifs reposent sur des évaluations basées sur la précision, indépendantes du modèle, utilisant des ensembles de données statiques. Ces benchmarks sont limités dans leur capacité à fournir des évaluations à jour et approfondies, car les mèmes en ligne évoluent de manière dynamique. Pour remédier à cela, nous proposons AdamMeme, un cadre d'évaluation flexible et basé sur des agents, qui sonde de manière adaptative les capacités de raisonnement des mLLMs dans le décryptage de la nocivité des mèmes. Grâce à une collaboration multi-agents, AdamMeme fournit des évaluations complètes en mettant à jour itérativement les données de mèmes avec des échantillons difficiles, exposant ainsi les limites spécifiques dans la manière dont les mLLMs interprètent la nocivité. Des expériences approfondies montrent que notre cadre révèle systématiquement les performances variables des différents mLLMs cibles, offrant des analyses approfondies et granulaires des faiblesses spécifiques à chaque modèle. Notre code est disponible à l'adresse suivante : https://github.com/Lbotirx/AdamMeme.

English

The proliferation of multimodal memes in the social media era demands that multimodal Large Language Models (mLLMs) effectively understand meme harmfulness. Existing benchmarks for assessing mLLMs on harmful meme understanding rely on accuracy-based, model-agnostic evaluations using static datasets. These benchmarks are limited in their ability to provide up-to-date and thorough assessments, as online memes evolve dynamically. To address this, we propose AdamMeme, a flexible, agent-based evaluation framework that adaptively probes the reasoning capabilities of mLLMs in deciphering meme harmfulness. Through multi-agent collaboration, AdamMeme provides comprehensive evaluations by iteratively updating the meme data with challenging samples, thereby exposing specific limitations in how mLLMs interpret harmfulness. Extensive experiments show that our framework systematically reveals the varying performance of different target mLLMs, offering in-depth, fine-grained analyses of model-specific weaknesses. Our code is available at https://github.com/Lbotirx/AdamMeme.