D-HUMOR : Compréhension de l'humour noir par raisonnement ouvert multimodal

papers.abstract

L'humour noir dans les mèmes en ligne présente des défis uniques en raison de sa dépendance à des indices implicites, sensibles et contextuels sur le plan culturel. Pour pallier le manque de ressources et de méthodes permettant de détecter l'humour noir dans le contenu multimodal, nous introduisons un nouvel ensemble de données composé de 4 379 mèmes Reddit annotés pour l'humour noir, la catégorie cible (genre, santé mentale, violence, race, handicap et autres) et une évaluation d'intensité à trois niveaux (léger, modéré, sévère). En nous appuyant sur cette ressource, nous proposons un cadre renforcé par le raisonnement qui génère d'abord des explications structurées pour chaque mème à l'aide d'un modèle de vision et de langage à grande échelle (VLM). Grâce à une boucle d'auto-réflexion par inversion de rôle, le VLM adopte la perspective de l'auteur pour affiner itérativement ses explications, garantissant ainsi leur exhaustivité et leur cohérence. Nous extrayons ensuite des caractéristiques textuelles à la fois de la transcription OCR et du raisonnement auto-affiné via un encodeur de texte, tandis que les caractéristiques visuelles sont obtenues à l'aide d'un transformeur de vision. Un réseau de raisonnement croisé à trois flux (TCRNet) fusionne ces trois flux — texte, image et raisonnement — via des mécanismes d'attention par paires, produisant une représentation unifiée pour la classification. Les résultats expérimentaux démontrent que notre approche surpasse des modèles de référence solides dans trois tâches : la détection de l'humour noir, l'identification de la cible et la prédiction de l'intensité. L'ensemble de données, les annotations et le code sont mis à disposition pour faciliter des recherches ultérieures sur la compréhension de l'humour multimodal et la modération de contenu. Le code et l'ensemble de données sont disponibles à l'adresse suivante : https://github.com/Sai-Kartheek-Reddy/D-Humor-Dark-Humor-Understanding-via-Multimodal-Open-ended-Reasoning

English

Dark humor in online memes poses unique challenges due to its reliance on implicit, sensitive, and culturally contextual cues. To address the lack of resources and methods for detecting dark humor in multimodal content, we introduce a novel dataset of 4,379 Reddit memes annotated for dark humor, target category (gender, mental health, violence, race, disability, and other), and a three-level intensity rating (mild, moderate, severe). Building on this resource, we propose a reasoning-augmented framework that first generates structured explanations for each meme using a Large Vision-Language Model (VLM). Through a Role-Reversal Self-Loop, VLM adopts the author's perspective to iteratively refine its explanations, ensuring completeness and alignment. We then extract textual features from both the OCR transcript and the self-refined reasoning via a text encoder, while visual features are obtained using a vision transformer. A Tri-stream Cross-Reasoning Network (TCRNet) fuses these three streams, text, image, and reasoning, via pairwise attention mechanisms, producing a unified representation for classification. Experimental results demonstrate that our approach outperforms strong baselines across three tasks: dark humor detection, target identification, and intensity prediction. The dataset, annotations, and code are released to facilitate further research in multimodal humor understanding and content moderation. Code and Dataset are available at: https://github.com/Sai-Kartheek-Reddy/D-Humor-Dark-Humor-Understanding-via-Multimodal-Open-ended-Reasoning

D-HUMOR : Compréhension de l'humour noir par raisonnement ouvert multimodal

D-HUMOR: Dark Humor Understanding via Multimodal Open-ended Reasoning

papers.abstract

Support