Kunstmatige Intelligentie en Misinformatie in Kunst: Kunnen Vision Language Modellen Bepalen of de Hand of de Machine Achter het Canvas Staat?

Artificial Intelligence and Misinformation in Art: Can Vision Language Models Judge the Hand or the Machine Behind the Canvas?

August 2, 2025

Auteurs: Tarian Fu, Javier Conde, Gonzalo Martínez, Pedro Reviriego, Elena Merino-Gómez, Fernando Moral

cs.AI

Samenvatting

De toeschrijving van kunstwerken in het algemeen en van schilderijen in het bijzonder is altijd een uitdaging geweest in de kunst. De opkomst van krachtige kunstmatige intelligentie-modellen die afbeeldingen kunnen genereren en analyseren, brengt nieuwe uitdagingen met zich mee voor de toeschrijving van schilderijen. Enerzijds kunnen AI-modellen afbeeldingen creëren die de stijl van een schilder imiteren, wat bijvoorbeeld door andere AI-modellen onterecht kan worden toegeschreven. Anderzijds kunnen AI-modellen mogelijk niet correct de kunstenaar identificeren voor echte schilderijen, wat gebruikers kan aanzetten tot onjuiste toeschrijvingen. In dit artikel worden beide problemen experimenteel onderzocht met behulp van state-of-the-art AI-modellen voor beeldgeneratie en -analyse op een grote dataset met bijna 40.000 schilderijen van 128 kunstenaars. De resultaten tonen aan dat vision-language-modellen beperkte mogelijkheden hebben om: 1) canvas-toeschrijving uit te voeren en 2) AI-gegenereerde afbeeldingen te identificeren. Aangezien gebruikers steeds meer vertrouwen op vragen aan AI-modellen om informatie te verkrijgen, tonen deze resultaten de noodzaak aan om de mogelijkheden van VLMs te verbeteren om betrouwbaar kunstenaarstoeschrijving en detectie van AI-gegenereerde afbeeldingen uit te voeren, om de verspreiding van onjuiste informatie te voorkomen.

English

The attribution of artworks in general and of paintings in particular has always been an issue in art. The advent of powerful artificial intelligence models that can generate and analyze images creates new challenges for painting attribution. On the one hand, AI models can create images that mimic the style of a painter, which can be incorrectly attributed, for example, by other AI models. On the other hand, AI models may not be able to correctly identify the artist for real paintings, inducing users to incorrectly attribute paintings. In this paper, both problems are experimentally studied using state-of-the-art AI models for image generation and analysis on a large dataset with close to 40,000 paintings from 128 artists. The results show that vision language models have limited capabilities to: 1) perform canvas attribution and 2) to identify AI generated images. As users increasingly rely on queries to AI models to get information, these results show the need to improve the capabilities of VLMs to reliably perform artist attribution and detection of AI generated images to prevent the spread of incorrect information.