MLLMは創造的飛躍を解読できるか？クロスコンセプト理解のためのC4の紹介

要旨

MLLM（マルチモーダル大規模言語モデル）の創造的能力は、デザイン、コミュニケーション、教育、人間とAIの協働において重要である一方、明示的な目標や報酬シグナルが精度重視のタスクと比較して乏しいため、評価が困難である。概念横断的理解は、受容的創造性の根幹をなす認知能力であり、非自明的ではあるが意味のある概念間関係から、送り手の意図した意味を把握することを可能にする。我々は、項目構築を概念横断的エンコーディングとして、モデルの推論を概念横断的デコーディングとして操作化する。本論文では、成語に基づく概念横断的創造性のための認知に着想を得た評価フレームワークであるC4を提案する。そのエンコーディング要素は、手動で注釈付けされ第三者によるレビューを経た概念横断ネットワーク上のブリッジ経路に沿って、対象スロットをイメージ可能な代替概念にマッピングし、明示的な構造を持つバッチ生成、ブリッジ数と深さによって指標化される難易度、および厳密な解答を可能にする。本フレームワークを用いて、184件の合成項目と、オンラインソースから収集した37件の人間作成による概念横断的成語表現からなるC4評価セット（C4-Eval）を具体化する。収集した表現について、概念横断的関係、ブリッジ経路、推論プロセスを手動で構築・レビューする。各C4-Eval項目は5つのタスク設定で具体化され、合計884件の一次解答復元ケースが生成される。評価した10のMLLMのうち、最も高性能なクローズドモデルは一次正解率50.7%および48.0%に達する一方、オープンソースモデルは大幅に低い水準にとどまる。候補制約は正解率を大幅に向上させるが、ブリッジヒントや説明要求による改善は限定的である。これらの結果は、現在のMLLMが概念横断的関係を通じて創造的に符号化された意味を復号する際の大きな隔たりを浮き彫りにする。コードは補足資料に含まれる。

English

Creative capabilities of MLLMs matter in design, communication, education, and human--AI collaboration, yet remain difficult to evaluate because explicit targets and reward signals are scarce compared with accuracy-oriented tasks. Cross-concept understanding is a core cognitive capacity underlying receptive creativity. It enables a perceiver to recover intended meaning from non-obvious but meaningful conceptual relations. We operationalize item construction as cross-concept encoding and model inference as cross-concept decoding. We introduce C4, a cognition-inspired evaluation framework for Chengyu (Chinese idiom)-based Cross-Concept Creativity. Its encoding component maps target slots to imageable substitute concepts along bridge paths in a manually annotated and third-party-reviewed cross-concept network, enabling batch generation with explicit structure, difficulty indexed by bridge count and depth, and exact answers. Using this framework, we instantiate the C4 Evaluation Set (C4-Eval), comprising 184 synthetic items and 37 human-created cross-concept chengyu figures collected from online sources. We manually construct and review cross-concept relations, bridge paths, and reasoning processes for the collected figures. Each C4-Eval item is instantiated in five task settings, yielding 884 primary answer-recovery cases. Across ten evaluated MLLMs, the strongest closed models reach 50.7% and 48.0% primary accuracy, while open-source models remain substantially lower. Candidate constraints improve accuracy sharply, but bridge hints and explanation requests provide only modest gains. These results expose a substantial gap in how current MLLMs decode creatively encoded meaning through cross-concept relations. The code is in the supplementary material.