Inteligência Artificial e Desinformação na Arte: Modelos de Linguagem Visual Podem Julgar a Mão ou a Máquina por Trás da Tela?

Artificial Intelligence and Misinformation in Art: Can Vision Language Models Judge the Hand or the Machine Behind the Canvas?

August 2, 2025

Autores: Tarian Fu, Javier Conde, Gonzalo Martínez, Pedro Reviriego, Elena Merino-Gómez, Fernando Moral

cs.AI

Resumo

A atribuição de obras de arte em geral e de pinturas em particular sempre foi uma questão relevante no mundo da arte. O surgimento de modelos poderosos de inteligência artificial capazes de gerar e analisar imagens cria novos desafios para a atribuição de pinturas. Por um lado, modelos de IA podem criar imagens que imitam o estilo de um pintor, as quais podem ser incorretamente atribuídas, por exemplo, por outros modelos de IA. Por outro lado, modelos de IA podem não ser capazes de identificar corretamente o artista de pinturas reais, levando os usuários a atribuí-las de forma incorreta. Neste artigo, ambos os problemas são estudados experimentalmente utilizando modelos de IA state-of-the-art para geração e análise de imagens em um grande conjunto de dados com cerca de 40.000 pinturas de 128 artistas. Os resultados mostram que os modelos de linguagem visual têm capacidades limitadas para: 1) realizar a atribuição de telas e 2) identificar imagens geradas por IA. À medida que os usuários dependem cada vez mais de consultas a modelos de IA para obter informações, esses resultados evidenciam a necessidade de melhorar as capacidades dos VLMs para realizar de forma confiável a atribuição de artistas e a detecção de imagens geradas por IA, a fim de evitar a disseminação de informações incorretas.

English

The attribution of artworks in general and of paintings in particular has always been an issue in art. The advent of powerful artificial intelligence models that can generate and analyze images creates new challenges for painting attribution. On the one hand, AI models can create images that mimic the style of a painter, which can be incorrectly attributed, for example, by other AI models. On the other hand, AI models may not be able to correctly identify the artist for real paintings, inducing users to incorrectly attribute paintings. In this paper, both problems are experimentally studied using state-of-the-art AI models for image generation and analysis on a large dataset with close to 40,000 paintings from 128 artists. The results show that vision language models have limited capabilities to: 1) perform canvas attribution and 2) to identify AI generated images. As users increasingly rely on queries to AI models to get information, these results show the need to improve the capabilities of VLMs to reliably perform artist attribution and detection of AI generated images to prevent the spread of incorrect information.