인공지능과 예술 분야의 오보: 시각 언어 모델이 캔버스 뒤의 인간과 기계를 구분할 수 있을까?

초록

일반적으로 예술 작품, 특히 회화 작품의 작가 귀속은 항상 예술계에서 중요한 문제로 여겨져 왔습니다. 이미지를 생성하고 분석할 수 있는 강력한 인공지능 모델의 등장은 회화 작품의 작가 귀속에 새로운 도전을 제시합니다. 한편으로, AI 모델은 특정 화가의 스타일을 모방한 이미지를 생성할 수 있으며, 이는 예를 들어 다른 AI 모델에 의해 잘못 귀속될 수 있습니다. 반면에, AI 모델은 실제 회화 작품의 작가를 정확히 식별하지 못할 수 있어 사용자들이 작품을 잘못 귀속하게 만들 수 있습니다. 본 논문에서는 최신 AI 모델을 사용하여 이미지 생성 및 분석을 실험적으로 연구하고, 128명의 화가로부터 약 40,000점의 회화 작품으로 구성된 대규모 데이터셋을 활용했습니다. 연구 결과, 비전 언어 모델(VLM)은 1) 캔버스 작가 귀속을 수행하고 2) AI 생성 이미지를 식별하는 데 제한된 능력을 보였습니다. 사용자들이 정보를 얻기 위해 AI 모델에 의존하는 비중이 점점 커짐에 따라, 이러한 결과는 잘못된 정보의 확산을 방지하기 위해 VLM의 작가 귀속 및 AI 생성 이미지 탐지 능력을 향상시킬 필요가 있음을 보여줍니다.

English

The attribution of artworks in general and of paintings in particular has always been an issue in art. The advent of powerful artificial intelligence models that can generate and analyze images creates new challenges for painting attribution. On the one hand, AI models can create images that mimic the style of a painter, which can be incorrectly attributed, for example, by other AI models. On the other hand, AI models may not be able to correctly identify the artist for real paintings, inducing users to incorrectly attribute paintings. In this paper, both problems are experimentally studied using state-of-the-art AI models for image generation and analysis on a large dataset with close to 40,000 paintings from 128 artists. The results show that vision language models have limited capabilities to: 1) perform canvas attribution and 2) to identify AI generated images. As users increasingly rely on queries to AI models to get information, these results show the need to improve the capabilities of VLMs to reliably perform artist attribution and detection of AI generated images to prevent the spread of incorrect information.

인공지능과 예술 분야의 오보: 시각 언어 모델이 캔버스 뒤의 인간과 기계를 구분할 수 있을까?

Artificial Intelligence and Misinformation in Art: Can Vision Language Models Judge the Hand or the Machine Behind the Canvas?

초록

Support