人工知能と芸術における誤情報：視覚言語モデルはキャンバスの背後にある手と機械を判断できるか？

要旨

芸術作品、特に絵画の帰属問題は、常に芸術界における課題であった。強力な人工知能（AI）モデルの登場により、画像の生成と分析が可能となり、絵画の帰属に関する新たな課題が生じている。一方で、AIモデルは特定の画家のスタイルを模倣した画像を生成することができ、これが他のAIモデルによって誤って帰属される可能性がある。他方で、AIモデルは実際の絵画の作者を正しく識別できない場合があり、ユーザーが誤った帰属を行う原因となる。本論文では、最先端のAIモデルを用いて、128人の画家に属する約40,000点の絵画を含む大規模データセットにおいて、これらの問題を実験的に検証した。その結果、視覚言語モデル（VLM）は、1）キャンバスの帰属を行い、2）AI生成画像を識別する能力に限界があることが示された。ユーザーが情報を得るためにAIモデルへのクエリに依存する度合いが増す中、これらの結果は、誤った情報の拡散を防ぐために、VLMの能力を向上させ、信頼性の高い作者帰属とAI生成画像の検出を実現する必要性を示している。

English

The attribution of artworks in general and of paintings in particular has always been an issue in art. The advent of powerful artificial intelligence models that can generate and analyze images creates new challenges for painting attribution. On the one hand, AI models can create images that mimic the style of a painter, which can be incorrectly attributed, for example, by other AI models. On the other hand, AI models may not be able to correctly identify the artist for real paintings, inducing users to incorrectly attribute paintings. In this paper, both problems are experimentally studied using state-of-the-art AI models for image generation and analysis on a large dataset with close to 40,000 paintings from 128 artists. The results show that vision language models have limited capabilities to: 1) perform canvas attribution and 2) to identify AI generated images. As users increasingly rely on queries to AI models to get information, these results show the need to improve the capabilities of VLMs to reliably perform artist attribution and detection of AI generated images to prevent the spread of incorrect information.

人工知能と芸術における誤情報：視覚言語モデルはキャンバスの背後にある手と機械を判断できるか？

Artificial Intelligence and Misinformation in Art: Can Vision Language Models Judge the Hand or the Machine Behind the Canvas?

要旨

Support