D-HUMOR: Понимание чёрного юмора через многомодальное открытое рассуждение
D-HUMOR: Dark Humor Understanding via Multimodal Open-ended Reasoning
September 8, 2025
Авторы: Sai Kartheek Reddy Kasu, Mohammad Zia Ur Rehman, Shahid Shafi Dar, Rishi Bharat Junghare, Dhanvin Sanjay Namboodiri, Nagendra Kumar
cs.AI
Аннотация
Тёмный юмор в онлайн-мемах представляет уникальные сложности из-за его зависимости от неявных, чувствительных и культурно-контекстуальных сигналов. Для решения проблемы отсутствия ресурсов и методов обнаружения тёмного юмора в мультимодальном контенте мы представляем новый набор данных, состоящий из 4 379 мемов с Reddit, аннотированных по признаку тёмного юмора, целевой категории (гендер, психическое здоровье, насилие, раса, инвалидность и другие) и трёхуровневой оценке интенсивности (лёгкая, умеренная, высокая). На основе этого ресурса мы предлагаем подход, усиленный рассуждениями, который сначала генерирует структурированные объяснения для каждого мема с использованием крупной визуально-языковой модели (VLM). Через механизм "Ролевого саморефлексивного цикла" VLM принимает перспективу автора, чтобы итеративно уточнять свои объяснения, обеспечивая их полноту и согласованность. Затем мы извлекаем текстовые признаки как из транскрипции OCR, так и из самоуточнённых рассуждений с помощью текстового энкодера, а визуальные признаки получаем с использованием трансформера для изображений. Трёхпоточная сеть кросс-рассуждений (TCRNet) объединяет эти три потока — текст, изображение и рассуждения — через попарные механизмы внимания, создавая единое представление для классификации. Экспериментальные результаты показывают, что наш подход превосходит сильные базовые модели в трёх задачах: обнаружение тёмного юмора, идентификация цели и предсказание интенсивности. Набор данных, аннотации и код опубликованы для содействия дальнейшим исследованиям в области понимания мультимодального юмора и модерации контента. Код и набор данных доступны по ссылке:
https://github.com/Sai-Kartheek-Reddy/D-Humor-Dark-Humor-Understanding-via-Multimodal-Open-ended-Reasoning
English
Dark humor in online memes poses unique challenges due to its reliance on
implicit, sensitive, and culturally contextual cues. To address the lack of
resources and methods for detecting dark humor in multimodal content, we
introduce a novel dataset of 4,379 Reddit memes annotated for dark humor,
target category (gender, mental health, violence, race, disability, and other),
and a three-level intensity rating (mild, moderate, severe). Building on this
resource, we propose a reasoning-augmented framework that first generates
structured explanations for each meme using a Large Vision-Language Model
(VLM). Through a Role-Reversal Self-Loop, VLM adopts the author's perspective
to iteratively refine its explanations, ensuring completeness and alignment. We
then extract textual features from both the OCR transcript and the self-refined
reasoning via a text encoder, while visual features are obtained using a vision
transformer. A Tri-stream Cross-Reasoning Network (TCRNet) fuses these three
streams, text, image, and reasoning, via pairwise attention mechanisms,
producing a unified representation for classification. Experimental results
demonstrate that our approach outperforms strong baselines across three tasks:
dark humor detection, target identification, and intensity prediction. The
dataset, annotations, and code are released to facilitate further research in
multimodal humor understanding and content moderation. Code and Dataset are
available at:
https://github.com/Sai-Kartheek-Reddy/D-Humor-Dark-Humor-Understanding-via-Multimodal-Open-ended-Reasoning