Évaluation interprétative fondée sur la sémiotique de l'art génératif
On Semiotic-Grounded Interpretive Evaluation of Generative Art
April 9, 2026
Auteurs: Ruixiang Jiang, Changwen Chen
cs.AI
Résumé
L'interprétation est essentielle pour déchiffrer le langage de l'art : le public communique avec les artistes en retrouvant le sens à partir des artefacts visuels. Cependant, les évaluateurs actuels de l'Art Génératif (GenArt) restent obsédés par la qualité superficielle de l'image ou l'adéquation littérale à l'invite (prompt), échouant à évaluer la signification symbolique ou abstraite plus profonde voulue par le créateur. Nous comblons cette lacune en formalisant une théorie sémiotique computationnelle peircienne qui modélise l'Interaction Humain-ArtGénéré (HGI) comme une sémiose en cascade. Ce cadre révèle que la signification artistique est véhiculée à travers trois modes - iconique, symbolique et indiciel - pourtant les évaluateurs existants opèrent largement dans le mode iconique, restant structurellement aveugles aux deux derniers. Pour surmonter cette cécité structurelle, nous proposons SemJudge. Cet évaluateur évalue explicitement la signification symbolique et indicielle dans la HGI via un Graphe de Sémiose Hiérarchique (HSG) qui reconstruit le processus de création de sens de l'invite à l'artefact généré. Des expériences quantitatives approfondies montrent que SemJudge s'aligne plus étroitement avec les jugements humains que les évaluateurs précédents sur un benchmark d'art exigeant en interprétation. Des études utilisateurs démontrent en outre que SemJudge produit des interprétations artistiques plus profondes et plus perspicaces, ouvrant ainsi la voie à un GenArt capable de dépasser la génération d'images "jolies" pour devenir un medium à même d'exprimer l'expérience humaine complexe. Page du projet : https://github.com/songrise/SemJudge.
English
Interpretation is essential to deciphering the language of art: audiences communicate with artists by recovering meaning from visual artifacts. However, current Generative Art (GenArt) evaluators remain fixated on surface-level image quality or literal prompt adherence, failing to assess the deeper symbolic or abstract meaning intended by the creator. We address this gap by formalizing a Peircean computational semiotic theory that models Human-GenArt Interaction (HGI) as cascaded semiosis. This framework reveals that artistic meaning is conveyed through three modes - iconic, symbolic, and indexical - yet existing evaluators operate heavily within the iconic mode, remaining structurally blind to the latter two. To overcome this structural blindness, we propose SemJudge. This evaluator explicitly assesses symbolic and indexical meaning in HGI via a Hierarchical Semiosis Graph (HSG) that reconstructs the meaning-making process from prompt to generated artifact. Extensive quantitative experiments show that SemJudge aligns more closely with human judgments than prior evaluators on an interpretation-intensive fine-art benchmark. User studies further demonstrate that SemJudge produces deeper, more insightful artistic interpretations, thereby paving the way for GenArt to move beyond the generation of "pretty" images toward a medium capable of expressing complex human experience. Project page: https://github.com/songrise/SemJudge.