AdamMeme: Sondare in modo adattivo la capacità di ragionamento dei Modelli Linguistici Multimodali di Grandi Dimensioni sulla nocività

AdamMeme: Adaptively Probe the Reasoning Capacity of Multimodal Large Language Models on Harmfulness

July 2, 2025

Autori: Zixin Chen, Hongzhan Lin, Kaixin Li, Ziyang Luo, Zhen Ye, Guang Chen, Zhiyong Huang, Jing Ma

cs.AI

Abstract

La proliferazione di meme multimodali nell'era dei social media richiede che i Modelli Linguistici Multimodali di Grande Dimensione (mLLM) comprendano efficacemente la dannosità dei meme. Gli attuali benchmark per valutare gli mLLM nella comprensione dei meme dannosi si basano su valutazioni agnostiche al modello e orientate all'accuratezza, utilizzando dataset statici. Questi benchmark sono limitati nella loro capacità di fornire valutazioni aggiornate e approfondite, poiché i meme online evolvono dinamicamente. Per affrontare questo problema, proponiamo AdamMeme, un framework di valutazione flessibile e basato su agenti che esplora in modo adattivo le capacità di ragionamento degli mLLM nel decifrare la dannosità dei meme. Attraverso la collaborazione multi-agente, AdamMeme fornisce valutazioni complete aggiornando iterativamente i dati dei meme con campioni complessi, esponendo così specifiche limitazioni nel modo in cui gli mLLM interpretano la dannosità. Esperimenti estesi dimostrano che il nostro framework rivela sistematicamente le prestazioni variabili di diversi mLLM target, offrendo analisi approfondite e granulari delle debolezze specifiche dei modelli. Il nostro codice è disponibile all'indirizzo https://github.com/Lbotirx/AdamMeme.

English

The proliferation of multimodal memes in the social media era demands that multimodal Large Language Models (mLLMs) effectively understand meme harmfulness. Existing benchmarks for assessing mLLMs on harmful meme understanding rely on accuracy-based, model-agnostic evaluations using static datasets. These benchmarks are limited in their ability to provide up-to-date and thorough assessments, as online memes evolve dynamically. To address this, we propose AdamMeme, a flexible, agent-based evaluation framework that adaptively probes the reasoning capabilities of mLLMs in deciphering meme harmfulness. Through multi-agent collaboration, AdamMeme provides comprehensive evaluations by iteratively updating the meme data with challenging samples, thereby exposing specific limitations in how mLLMs interpret harmfulness. Extensive experiments show that our framework systematically reveals the varying performance of different target mLLMs, offering in-depth, fine-grained analyses of model-specific weaknesses. Our code is available at https://github.com/Lbotirx/AdamMeme.