D-HUMOR: Verständnis von schwarzem Humor durch multimodales offenes Schlussfolgern

papers.abstract

Dunkler Humor in Online-Memes stellt aufgrund seiner Abhängigkeit von impliziten, sensiblen und kulturell kontextuellen Hinweisen einzigartige Herausforderungen dar. Um den Mangel an Ressourcen und Methoden zur Erkennung von dunklem Humor in multimodalen Inhalten zu beheben, stellen wir einen neuartigen Datensatz von 4.379 Reddit-Memes vor, die für dunklen Humor, Zielkategorie (Geschlecht, psychische Gesundheit, Gewalt, Rasse, Behinderung und andere) sowie eine dreistufige Intensitätsbewertung (leicht, mittel, schwer) annotiert sind. Aufbauend auf dieser Ressource schlagen wir ein reasoning-augmentiertes Framework vor, das zunächst strukturierte Erklärungen für jedes Meme mithilfe eines Large Vision-Language Models (VLM) generiert. Durch eine Rollenumkehr-Selbstschleife nimmt das VLM die Perspektive des Autors ein, um seine Erklärungen iterativ zu verfeinern und so Vollständigkeit und Ausrichtung sicherzustellen. Anschließend extrahieren wir textuelle Merkmale sowohl aus der OCR-Transkription als auch aus dem selbstverfeinerten Reasoning über einen Text-Encoder, während visuelle Merkmale mithilfe eines Vision Transformers gewonnen werden. Ein Tri-stream Cross-Reasoning Network (TCRNet) fusioniert diese drei Ströme – Text, Bild und Reasoning – über paarweise Aufmerksamkeitsmechanismen und erzeugt eine einheitliche Repräsentation für die Klassifizierung. Experimentelle Ergebnisse zeigen, dass unser Ansatz starke Baselines in drei Aufgaben übertrifft: Erkennung von dunklem Humor, Zielidentifikation und Intensitätsvorhersage. Der Datensatz, die Annotationen und der Code werden veröffentlicht, um weitere Forschungen im Bereich des multimodalen Humorverständnisses und der Inhaltsmoderation zu erleichtern. Code und Datensatz sind verfügbar unter: https://github.com/Sai-Kartheek-Reddy/D-Humor-Dark-Humor-Understanding-via-Multimodal-Open-ended-Reasoning

English

Dark humor in online memes poses unique challenges due to its reliance on implicit, sensitive, and culturally contextual cues. To address the lack of resources and methods for detecting dark humor in multimodal content, we introduce a novel dataset of 4,379 Reddit memes annotated for dark humor, target category (gender, mental health, violence, race, disability, and other), and a three-level intensity rating (mild, moderate, severe). Building on this resource, we propose a reasoning-augmented framework that first generates structured explanations for each meme using a Large Vision-Language Model (VLM). Through a Role-Reversal Self-Loop, VLM adopts the author's perspective to iteratively refine its explanations, ensuring completeness and alignment. We then extract textual features from both the OCR transcript and the self-refined reasoning via a text encoder, while visual features are obtained using a vision transformer. A Tri-stream Cross-Reasoning Network (TCRNet) fuses these three streams, text, image, and reasoning, via pairwise attention mechanisms, producing a unified representation for classification. Experimental results demonstrate that our approach outperforms strong baselines across three tasks: dark humor detection, target identification, and intensity prediction. The dataset, annotations, and code are released to facilitate further research in multimodal humor understanding and content moderation. Code and Dataset are available at: https://github.com/Sai-Kartheek-Reddy/D-Humor-Dark-Humor-Understanding-via-Multimodal-Open-ended-Reasoning

D-HUMOR: Verständnis von schwarzem Humor durch multimodales offenes Schlussfolgern

D-HUMOR: Dark Humor Understanding via Multimodal Open-ended Reasoning

papers.abstract

Support