D-HUMOR：マルチモーダルなオープンエンド推論によるブラックユーモア理解

要旨

オンラインミームにおけるブラックユーモアは、その暗黙的でセンシティブかつ文化的文脈に依存する性質から、独特の課題を提起します。多モーダルコンテンツにおけるブラックユーモア検出のためのリソースと手法の不足に対処するため、我々は4,379件のRedditミームからなる新規データセットを導入しました。このデータセットは、ブラックユーモアの有無、ターゲットカテゴリ（性別、メンタルヘルス、暴力、人種、障害、その他）、および3段階の強度評価（軽度、中度、重度）でアノテーションされています。このリソースを基盤として、我々は推論強化型フレームワークを提案します。このフレームワークでは、まず大規模視覚言語モデル（VLM）を使用して各ミームの構造化された説明を生成します。ロールリバーサル・セルフループを通じて、VLMは作者の視点を採用し、説明を反復的に洗練させ、完全性と整合性を確保します。次に、OCR転写文と自己洗練された推論からテキスト特徴を抽出し、視覚特徴はビジョントランスフォーマーを使用して取得します。Tri-stream Cross-Reasoning Network（TCRNet）は、テキスト、画像、推論の3つのストリームをペアワイズアテンションメカニズムで融合し、分類のための統一された表現を生成します。実験結果は、我々のアプローチがブラックユーモア検出、ターゲット識別、強度予測の3つのタスクにおいて強力なベースラインを上回ることを示しています。データセット、アノテーション、コードは公開され、多モーダルユーモア理解とコンテンツモデレーションのさらなる研究を促進します。コードとデータセットは以下で利用可能です： https://github.com/Sai-Kartheek-Reddy/D-Humor-Dark-Humor-Understanding-via-Multimodal-Open-ended-Reasoning

English

Dark humor in online memes poses unique challenges due to its reliance on implicit, sensitive, and culturally contextual cues. To address the lack of resources and methods for detecting dark humor in multimodal content, we introduce a novel dataset of 4,379 Reddit memes annotated for dark humor, target category (gender, mental health, violence, race, disability, and other), and a three-level intensity rating (mild, moderate, severe). Building on this resource, we propose a reasoning-augmented framework that first generates structured explanations for each meme using a Large Vision-Language Model (VLM). Through a Role-Reversal Self-Loop, VLM adopts the author's perspective to iteratively refine its explanations, ensuring completeness and alignment. We then extract textual features from both the OCR transcript and the self-refined reasoning via a text encoder, while visual features are obtained using a vision transformer. A Tri-stream Cross-Reasoning Network (TCRNet) fuses these three streams, text, image, and reasoning, via pairwise attention mechanisms, producing a unified representation for classification. Experimental results demonstrate that our approach outperforms strong baselines across three tasks: dark humor detection, target identification, and intensity prediction. The dataset, annotations, and code are released to facilitate further research in multimodal humor understanding and content moderation. Code and Dataset are available at: https://github.com/Sai-Kartheek-Reddy/D-Humor-Dark-Humor-Understanding-via-Multimodal-Open-ended-Reasoning

D-HUMOR：マルチモーダルなオープンエンド推論によるブラックユーモア理解

D-HUMOR: Dark Humor Understanding via Multimodal Open-ended Reasoning

要旨

Support