CaRGo-T：因果推論思考グラフによるマルチモーダルユーモア理解の向上

要旨

大規模視覚言語モデル（VLM）は、多様なマルチモーダルタスクにわたって顕著な汎用性を示してきた。しかし、ユーモアの理解は依然として困難である。なぜなら、ユーモアを含むコンテンツは、画像とテキストのモダリティにまたがるエンティティ、イベント、コンテキスト、暗黙的な関係性の間の微妙な相互作用に依存することが多いからである。こうした相互作用は複雑な推論連鎖を伴うことがあり、従来のプロンプティングや線形のチェーン・オブ・ソート推論では捉えることが難しい。本研究では、マルチモーダルなユーモアの背後にある因果関係と文脈関係を、軽量なグラフベースの推論構造として表現する推論フレームワークであるCaRGo-T（Causal Reasoning Graph-of-Thought）を提案する。このグラフはVLMによって生成されるコードベースの表現にシリアライズされ、その後、同一または異なるVLMによって解釈され、ゼロショットまたはインコンテキスト学習設定で最終予測を生成できる。我々は、風刺、皮肉、ミームなど多様なコメディコンテンツを含む4つのデータセットにおいて、ユーモア理解とユーモア検出のタスクでCaRGo-Tを評価する。最先端の商用およびオープンソースVLMを用いた実験により、CaRGo-Tは既存の推論ベースのベースラインと比較して一貫して性能を向上させ、ユーモア理解では約1〜20%、ユーモア検出では約1〜3%の改善を達成することを示す。相互情報量を用いたさらなる分析は、CaRGo-Tによって生成された推論表現が、ベースラインの推論手法によって生成された表現よりも、対象出力に関連する情報を多く含むことを示している。コードは https://github.com/abhi1nandy2/CaRGo-T で公開している。

English

Large-scale vision-language models (VLMs) have demonstrated remarkable versatility across a wide range of multimodal tasks. However, understanding humor remains challenging because humorous content often depends on subtle interactions among entities, events, context, and implicit relationships across image and text modalities. These interactions can involve complex chains of reasoning that are difficult to capture through conventional prompting or linear chain-of-thought reasoning. In this work, we propose CaRGo-T (Causal Reasoning Graph-of-Thought), a reasoning framework that represents the causal and contextual relationships underlying multimodal humor as a lightweight graph-based reasoning structure. The graph is serialized into a code-based representation generated by a VLM, which can subsequently be interpreted by the same or a different VLM to produce the final prediction in zero-shot or in-context learning settings. We evaluate CaRGo-T on humor understanding and humor detection across four datasets spanning diverse forms of comedic content, including satire, sarcasm, and memes. Experiments with state-of-the-art commercial and open-source VLMs show that CaRGo-T consistently improves performance over existing reasoning-based baselines, achieving gains of approximately 1-20% on humor understanding and 1-3% on humor detection. Further analysis using mutual information indicates that the reasoning representations produced by CaRGo-T contain more information relevant to the target output than those generated by baseline reasoning approaches. Code is available at https://github.com/abhi1nandy2/CaRGo-T.