О семиотически обоснованной интерпретативной оценке генеративного искусства
On Semiotic-Grounded Interpretive Evaluation of Generative Art
April 9, 2026
Авторы: Ruixiang Jiang, Changwen Chen
cs.AI
Аннотация
Интерпретация необходима для расшифровки языка искусства: зрители общаются с художниками, восстанавливая смысл из визуальных артефактов. Однако современные системы оценки генеративного искусства (GenArt) зациклены на поверхностном качестве изображения или буквальном соответствии текстовому запросу, не оценивая более глубокий символический или абстрактный замысел создателя. Мы устраняем этот пробел, формализуя вычислительную семиотическую теорию Пирса, которая моделирует взаимодействие человека с GenArt (HGI) как каскадную семиозису. Данная framework-модель показывает, что художественный смысл передается через три режима — иконический, символический и индексальный, — однако существующие системы оценки работают преимущественно в иконическом режиме, оставаясь структурно слепыми к двум последним. Чтобы преодолеть эту структурную слепоту, мы предлагаем SemJudge — систему, которая явно оценивает символический и индексальный смысл в HGI через иерархический граф семиозиса (HSG), реконструирующий процесс порождения смысла от запроса к созданному артефакту. Масштабные количественные эксперименты показывают, что SemJudge значительно точнее согласуется с человеческими оценками, чем предыдущие системы, на интерпретационно-насыщенном бенчмарке из произведений изящных искусств. Пользовательские исследования дополнительно демонстрируют, что SemJudge порождает более глубокие и содержательные художественные интерпретации, открывая путь для развития GenArt от генерации «красивых» изображений к среде, способной выражать сложный человеческий опыт. Страница проекта: https://github.com/songrise/SemJudge.
English
Interpretation is essential to deciphering the language of art: audiences communicate with artists by recovering meaning from visual artifacts. However, current Generative Art (GenArt) evaluators remain fixated on surface-level image quality or literal prompt adherence, failing to assess the deeper symbolic or abstract meaning intended by the creator. We address this gap by formalizing a Peircean computational semiotic theory that models Human-GenArt Interaction (HGI) as cascaded semiosis. This framework reveals that artistic meaning is conveyed through three modes - iconic, symbolic, and indexical - yet existing evaluators operate heavily within the iconic mode, remaining structurally blind to the latter two. To overcome this structural blindness, we propose SemJudge. This evaluator explicitly assesses symbolic and indexical meaning in HGI via a Hierarchical Semiosis Graph (HSG) that reconstructs the meaning-making process from prompt to generated artifact. Extensive quantitative experiments show that SemJudge aligns more closely with human judgments than prior evaluators on an interpretation-intensive fine-art benchmark. User studies further demonstrate that SemJudge produces deeper, more insightful artistic interpretations, thereby paving the way for GenArt to move beyond the generation of "pretty" images toward a medium capable of expressing complex human experience. Project page: https://github.com/songrise/SemJudge.