CaRGo-T: 인과 추론 그래프-오브-생각(Graph-of-Thought)이 멀티모달 유머 이해를 향상시킨다

초록

대규모 비전-언어 모델(VLM)은 다양한 멀티모달 작업에서 놀라운 다재다능함을 보여주었다. 그러나 유머 이해는 여전히 어려운 과제로 남아 있는데, 이는 유머 콘텐츠가 종종 이미지와 텍스트 모달리티에 걸친 개체, 사건, 맥락, 그리고 암시적 관계들 사이의 미묘한 상호작용에 의존하기 때문이다. 이러한 상호작용은 기존의 프롬프팅이나 선형적 사고 사슬(chain-of-thought) 추론으로는 포착하기 어려운 복잡한 추론 사슬을 수반할 수 있다. 본 연구에서는 멀티모달 유머의 기저에 있는 인과적 및 맥락적 관계를 경량의 그래프 기반 추론 구조로 표현하는 추론 프레임워크인 CaRGo-T(Causal Reasoning Graph-of-Thought)를 제안한다. 이 그래프는 VLM이 생성한 코드 기반 표현으로 직렬화되며, 이후 동일하거나 다른 VLM이 이를 해석하여 제로샷(zero-shot) 또는 맥락 내 학습(in-context learning) 설정에서 최종 예측을 도출할 수 있다. 우리는 풍자(satire), 비꼼(sarcasm), 밈(memes)을 포함한 다양한 형태의 코미디 콘텐츠를 아우르는 네 개의 데이터셋에서 CaRGo-T를 유머 이해 및 유머 탐지 작업에 대해 평가한다. 최첨단 상용 및 오픈소스 VLM을 사용한 실험 결과, CaRGo-T는 기존의 추론 기반 기준선(baseline) 대비 일관된 성능 향상을 보여주었으며, 유머 이해에서 약 1-20%, 유머 탐지에서 약 1-3%의 향상을 달성했다. 상호 정보(mutual information)를 사용한 추가 분석은 CaRGo-T가 생성한 추론 표현이 기준선 추론 방식이 생성한 표현보다 목표 출력에 관련된 정보를 더 많이 포함하고 있음을 시사한다. 코드는 https://github.com/abhi1nandy2/CaRGo-T에서 이용할 수 있다.

English

Large-scale vision-language models (VLMs) have demonstrated remarkable versatility across a wide range of multimodal tasks. However, understanding humor remains challenging because humorous content often depends on subtle interactions among entities, events, context, and implicit relationships across image and text modalities. These interactions can involve complex chains of reasoning that are difficult to capture through conventional prompting or linear chain-of-thought reasoning. In this work, we propose CaRGo-T (Causal Reasoning Graph-of-Thought), a reasoning framework that represents the causal and contextual relationships underlying multimodal humor as a lightweight graph-based reasoning structure. The graph is serialized into a code-based representation generated by a VLM, which can subsequently be interpreted by the same or a different VLM to produce the final prediction in zero-shot or in-context learning settings. We evaluate CaRGo-T on humor understanding and humor detection across four datasets spanning diverse forms of comedic content, including satire, sarcasm, and memes. Experiments with state-of-the-art commercial and open-source VLMs show that CaRGo-T consistently improves performance over existing reasoning-based baselines, achieving gains of approximately 1-20% on humor understanding and 1-3% on humor detection. Further analysis using mutual information indicates that the reasoning representations produced by CaRGo-T contain more information relevant to the target output than those generated by baseline reasoning approaches. Code is available at https://github.com/abhi1nandy2/CaRGo-T.