アンドロイドは電気羊の夢を見るか：人間らしい画像の含意理解と推論フレームワーク

Let Androids Dream of Electric Sheep: A Human-like Image Implication Understanding and Reasoning Framework

May 22, 2025

著者: Chenhao Zhang, Yazhe Niu

cs.AI

要旨

画像における比喩的理解は、AIシステムにとって依然として重要な課題であり、既存のモデルは視覚コンテンツに埋め込まれた文化的、感情的、文脈的なニュアンスを捉えるのに苦労しています。マルチモーダル大規模言語モデル（MLLMs）は基本的な視覚質問応答（VQA）タスクでは優れていますが、画像の含意タスクにおいて根本的な制限に直面しています。それは、異なる視覚要素とそれらの抽象的な意味との関係を曖昧にする文脈のギャップです。人間の認知プロセスに着想を得て、我々は画像の含意理解と推論のための新しいフレームワーク「Let Androids Dream（LAD）」を提案します。LADは、以下の3段階のフレームワークを通じて文脈の欠落に対処します：（1）知覚：視覚情報を豊かで多層的なテキスト表現に変換する、（2）探索：曖昧さを解決するためにクロスドメインの知識を反復的に検索し統合する、（3）推論：明示的な推論を通じて文脈に沿った画像の含意を生成する。我々のフレームワークは、軽量なGPT-4o-miniモデルを使用して、英語の画像含意ベンチマークにおいて15以上のMLLMsと比較してSOTA性能を達成し、中国語のベンチマークにおいても大幅な改善を示し、多肢選択問題（MCQ）ではGPT-4oモデルと同等の性能を発揮し、自由回答問題（OSQ）では36.7%上回りました。さらに、我々の研究は、AIが画像の含意をより効果的に解釈する方法について新たな洞察を提供し、視覚言語推論と人間-AIインタラクションの分野を前進させます。我々のプロジェクトはhttps://github.com/MING-ZCH/Let-Androids-Dream-of-Electric-Sheepで公開されています。

English

Metaphorical comprehension in images remains a critical challenge for AI systems, as existing models struggle to grasp the nuanced cultural, emotional, and contextual implications embedded in visual content. While multimodal large language models (MLLMs) excel in basic Visual Question Answer (VQA) tasks, they struggle with a fundamental limitation on image implication tasks: contextual gaps that obscure the relationships between different visual elements and their abstract meanings. Inspired by the human cognitive process, we propose Let Androids Dream (LAD), a novel framework for image implication understanding and reasoning. LAD addresses contextual missing through the three-stage framework: (1) Perception: converting visual information into rich and multi-level textual representations, (2) Search: iteratively searching and integrating cross-domain knowledge to resolve ambiguity, and (3) Reasoning: generating context-alignment image implication via explicit reasoning. Our framework with the lightweight GPT-4o-mini model achieves SOTA performance compared to 15+ MLLMs on English image implication benchmark and a huge improvement on Chinese benchmark, performing comparable with the GPT-4o model on Multiple-Choice Question (MCQ) and outperforms 36.7% on Open-Style Question (OSQ). Additionally, our work provides new insights into how AI can more effectively interpret image implications, advancing the field of vision-language reasoning and human-AI interaction. Our project is publicly available at https://github.com/MING-ZCH/Let-Androids-Dream-of-Electric-Sheep.