記号論に基づく生成芸術の解釈的評価に関する考察
On Semiotic-Grounded Interpretive Evaluation of Generative Art
April 9, 2026
著者: Ruixiang Jiang, Changwen Chen
cs.AI
要旨
解釈は、芸術の言語を解読する上で不可欠である。鑑賞者は視覚的所産から意味を回復することによって、作家と対話する。しかし、現在の生成芸術（GenArt）評価指標は、表面的な画像品質やプロンプトへの文字通りの忠実さに固執しており、創造者が意図した深層の象徴的・抽象的意味を評価できていない。我々はこの隔たりを埋めるため、ピアース記号論に基づく計算論的枠組みを形式化し、人間とGenArtの相互作用（HGI）を連鎖的記号過程（cascaded semiosis）としてモデル化する。この枠組みは、芸術的意味が図像的・象徴的・指標的という三つのモードによって伝達されることを明らかにするが、既存の評価指標は図像的モードに偏重し、構造的に後者二つを看過している。この構造的盲点を克服するため、我々はSemJudgeを提案する。この評価指標は、階層的記号過程グラフ（HSG）を用いてプロンプトから生成作品への意味生成プロセスを再構築し、HGIにおける象徴的・指標的意味を明示的に評価する。大規模な定量実験により、解釈集約型の美術ベンチマークにおいて、SemJudgeが従来の評価指標よりも人間の判断に近い評価を実現することが示された。ユーザスタディはさらに、SemJudgeがより深く洞察に富んだ芸術的解釈を生成することを実証し、GenArtが「美しい」画像の生成を超え、複雑な人間の経験を表現できる媒体へと発展する道を開く。プロジェクトページ: https://github.com/songrise/SemJudge。
English
Interpretation is essential to deciphering the language of art: audiences communicate with artists by recovering meaning from visual artifacts. However, current Generative Art (GenArt) evaluators remain fixated on surface-level image quality or literal prompt adherence, failing to assess the deeper symbolic or abstract meaning intended by the creator. We address this gap by formalizing a Peircean computational semiotic theory that models Human-GenArt Interaction (HGI) as cascaded semiosis. This framework reveals that artistic meaning is conveyed through three modes - iconic, symbolic, and indexical - yet existing evaluators operate heavily within the iconic mode, remaining structurally blind to the latter two. To overcome this structural blindness, we propose SemJudge. This evaluator explicitly assesses symbolic and indexical meaning in HGI via a Hierarchical Semiosis Graph (HSG) that reconstructs the meaning-making process from prompt to generated artifact. Extensive quantitative experiments show that SemJudge aligns more closely with human judgments than prior evaluators on an interpretation-intensive fine-art benchmark. User studies further demonstrate that SemJudge produces deeper, more insightful artistic interpretations, thereby paving the way for GenArt to move beyond the generation of "pretty" images toward a medium capable of expressing complex human experience. Project page: https://github.com/songrise/SemJudge.