Intelligenza Artificiale e Disinformazione nell'Arte: i Modelli Linguaggio-Visione Possono Distinguere la Mano dall'Automazione Dietro la Tela?

Artificial Intelligence and Misinformation in Art: Can Vision Language Models Judge the Hand or the Machine Behind the Canvas?

August 2, 2025

Autori: Tarian Fu, Javier Conde, Gonzalo Martínez, Pedro Reviriego, Elena Merino-Gómez, Fernando Moral

cs.AI

Abstract

L'attribuzione delle opere d'arte in generale e dei dipinti in particolare è sempre stata una questione rilevante nel campo dell'arte. L'avvento di potenti modelli di intelligenza artificiale in grado di generare e analizzare immagini crea nuove sfide per l'attribuzione dei dipinti. Da un lato, i modelli di IA possono creare immagini che imitano lo stile di un pittore, le quali potrebbero essere erroneamente attribuite, ad esempio, da altri modelli di IA. Dall'altro lato, i modelli di IA potrebbero non essere in grado di identificare correttamente l'artista per dipinti reali, portando gli utenti a effettuare attribuzioni errate. In questo articolo, entrambi i problemi vengono studiati sperimentalmente utilizzando modelli di IA all'avanguardia per la generazione e l'analisi di immagini su un ampio dataset contenente quasi 40.000 dipinti di 128 artisti. I risultati dimostrano che i modelli di linguaggio visivo hanno capacità limitate nel: 1) eseguire l'attribuzione delle opere e 2) identificare le immagini generate da IA. Poiché gli utenti si affidano sempre più alle query ai modelli di IA per ottenere informazioni, questi risultati evidenziano la necessità di migliorare le capacità dei modelli di linguaggio visivo per eseguire in modo affidabile l'attribuzione degli artisti e il rilevamento delle immagini generate da IA, al fine di prevenire la diffusione di informazioni errate.

English

The attribution of artworks in general and of paintings in particular has always been an issue in art. The advent of powerful artificial intelligence models that can generate and analyze images creates new challenges for painting attribution. On the one hand, AI models can create images that mimic the style of a painter, which can be incorrectly attributed, for example, by other AI models. On the other hand, AI models may not be able to correctly identify the artist for real paintings, inducing users to incorrectly attribute paintings. In this paper, both problems are experimentally studied using state-of-the-art AI models for image generation and analysis on a large dataset with close to 40,000 paintings from 128 artists. The results show that vision language models have limited capabilities to: 1) perform canvas attribution and 2) to identify AI generated images. As users increasingly rely on queries to AI models to get information, these results show the need to improve the capabilities of VLMs to reliably perform artist attribution and detection of AI generated images to prevent the spread of incorrect information.