Inteligencia Artificial y Desinformación en el Arte: ¿Pueden los Modelos de Lenguaje Visual Determinar si la Mano o la Máquina está Detrás del Lienzo?

Artificial Intelligence and Misinformation in Art: Can Vision Language Models Judge the Hand or the Machine Behind the Canvas?

August 2, 2025

Autores: Tarian Fu, Javier Conde, Gonzalo Martínez, Pedro Reviriego, Elena Merino-Gómez, Fernando Moral

cs.AI

Resumen

La atribución de obras de arte en general y de pinturas en particular siempre ha sido un tema relevante en el ámbito artístico. El surgimiento de modelos de inteligencia artificial potentes capaces de generar y analizar imágenes plantea nuevos desafíos para la atribución de pinturas. Por un lado, los modelos de IA pueden crear imágenes que imitan el estilo de un pintor, las cuales podrían ser atribuidas incorrectamente, por ejemplo, por otros modelos de IA. Por otro lado, los modelos de IA podrían no ser capaces de identificar correctamente al artista de pinturas reales, lo que llevaría a los usuarios a atribuir las obras de manera errónea. En este artículo, ambos problemas se estudian experimentalmente utilizando modelos de IA de vanguardia para la generación y análisis de imágenes en un conjunto de datos amplio que incluye cerca de 40,000 pinturas de 128 artistas. Los resultados muestran que los modelos de lenguaje visual tienen capacidades limitadas para: 1) realizar atribuciones de lienzos y 2) identificar imágenes generadas por IA. Dado que los usuarios dependen cada vez más de consultas a modelos de IA para obtener información, estos resultados evidencian la necesidad de mejorar las capacidades de los modelos de lenguaje visual para realizar atribuciones de artistas y detección de imágenes generadas por IA de manera confiable, con el fin de prevenir la difusión de información incorrecta.

English

The attribution of artworks in general and of paintings in particular has always been an issue in art. The advent of powerful artificial intelligence models that can generate and analyze images creates new challenges for painting attribution. On the one hand, AI models can create images that mimic the style of a painter, which can be incorrectly attributed, for example, by other AI models. On the other hand, AI models may not be able to correctly identify the artist for real paintings, inducing users to incorrectly attribute paintings. In this paper, both problems are experimentally studied using state-of-the-art AI models for image generation and analysis on a large dataset with close to 40,000 paintings from 128 artists. The results show that vision language models have limited capabilities to: 1) perform canvas attribution and 2) to identify AI generated images. As users increasingly rely on queries to AI models to get information, these results show the need to improve the capabilities of VLMs to reliably perform artist attribution and detection of AI generated images to prevent the spread of incorrect information.