Over semiotisch-gebaseerde interpretieve evaluatie van generatieve kunst
On Semiotic-Grounded Interpretive Evaluation of Generative Art
April 9, 2026
Auteurs: Ruixiang Jiang, Changwen Chen
cs.AI
Samenvatting
Interpretatie is essentieel om de taal van kunst te ontcijferen: publiek communiceert met kunstenaars door betekenis te ontlenen aan visuele artefacten. Huidige evaluatiemethoden voor Generatieve Kunst (GenArt) blijven echter gefocust op oppervlakkige beeldkwaliteit of letterlijke promptnaleving, zonder het diepere symbolische of abstracte betekenisniveau van de maker te beoordelen. Wij dichten deze kloof door een Peirceaanse computationele semiotische theorie te formaliseren die mens-genart-interactie (HGI) modelleert als gecascadeerde semiosis. Dit raamwerk toont aan dat artistieke betekenis wordt overgebracht via drie modi - iconisch, symbolisch en indexicaal - terwijl bestaande evaluatoren voornamelijk binnen de iconische modus opereren en structureel blind zijn voor de laatste twee. Om deze structurele blindheid te overwinnen, stellen wij SemJudge voor. Deze evaluator beoordeelt expliciet symbolische en indexicale betekenis in HGI via een Hiërarchische Semiosis Grafiek (HSG) die het betekenisgevingsproces van prompt gegenereerd artefact reconstrueert. Uitgebreide kwantitatieve experimenten tonen aan dat SemJudge beter aansluit bij menselijke oordelen dan eerdere evaluatoren op een interpretatie-intensief fine-art benchmark. Gebruikersstudies tonen verder aan dat SemJudge diepere, meer inzichtelijke artistieke interpretaties produceert, waardoor de weg wordt geëffend voor GenArt om verder te gaan dan het genereren van "mooie" afbeeldingen naar een medium dat complexe menselijke ervaring kan uitdrukken. Projectpagina: https://github.com/songrise/SemJudge.
English
Interpretation is essential to deciphering the language of art: audiences communicate with artists by recovering meaning from visual artifacts. However, current Generative Art (GenArt) evaluators remain fixated on surface-level image quality or literal prompt adherence, failing to assess the deeper symbolic or abstract meaning intended by the creator. We address this gap by formalizing a Peircean computational semiotic theory that models Human-GenArt Interaction (HGI) as cascaded semiosis. This framework reveals that artistic meaning is conveyed through three modes - iconic, symbolic, and indexical - yet existing evaluators operate heavily within the iconic mode, remaining structurally blind to the latter two. To overcome this structural blindness, we propose SemJudge. This evaluator explicitly assesses symbolic and indexical meaning in HGI via a Hierarchical Semiosis Graph (HSG) that reconstructs the meaning-making process from prompt to generated artifact. Extensive quantitative experiments show that SemJudge aligns more closely with human judgments than prior evaluators on an interpretation-intensive fine-art benchmark. User studies further demonstrate that SemJudge produces deeper, more insightful artistic interpretations, thereby paving the way for GenArt to move beyond the generation of "pretty" images toward a medium capable of expressing complex human experience. Project page: https://github.com/songrise/SemJudge.