Künstliche Intelligenz und Fehlinformationen in der Kunst: Können Vision-Language-Modelle beurteilen, ob die Hand oder die Maschine hinter der Leinwand steht?

Artificial Intelligence and Misinformation in Art: Can Vision Language Models Judge the Hand or the Machine Behind the Canvas?

August 2, 2025

papers.authors: Tarian Fu, Javier Conde, Gonzalo Martínez, Pedro Reviriego, Elena Merino-Gómez, Fernando Moral

cs.AI

papers.abstract

Die Zuschreibung von Kunstwerken im Allgemeinen und von Gemälden im Besonderen war in der Kunst schon immer ein Thema. Das Aufkommen leistungsstarker künstlicher Intelligenz (KI)-Modelle, die Bilder generieren und analysieren können, stellt neue Herausforderungen für die Zuschreibung von Gemälden dar. Einerseits können KI-Modelle Bilder erzeugen, die den Stil eines Malers nachahmen, was beispielsweise von anderen KI-Modellen fälschlicherweise zugeschrieben werden könnte. Andererseits können KI-Modelle möglicherweise nicht korrekt den Künstler echter Gemälde identifizieren, was dazu führt, dass Nutzer Gemälde falsch zuschreiben. In dieser Arbeit werden beide Probleme experimentell untersucht, indem state-of-the-art KI-Modelle zur Bildgenerierung und -analyse auf einem großen Datensatz mit fast 40.000 Gemälden von 128 Künstlern eingesetzt werden. Die Ergebnisse zeigen, dass Vision-Language-Modelle (VLMs) nur begrenzte Fähigkeiten besitzen, um: 1) die Zuschreibung von Leinwänden durchzuführen und 2) KI-generierte Bilder zu identifizieren. Da Nutzer zunehmend auf Anfragen an KI-Modelle zurückgreifen, um Informationen zu erhalten, verdeutlichen diese Ergebnisse die Notwendigkeit, die Fähigkeiten von VLMs zu verbessern, um Künstlerzuschreibungen und die Erkennung von KI-generierten Bildern zuverlässig durchführen zu können, um die Verbreitung falscher Informationen zu verhindern.

English

The attribution of artworks in general and of paintings in particular has always been an issue in art. The advent of powerful artificial intelligence models that can generate and analyze images creates new challenges for painting attribution. On the one hand, AI models can create images that mimic the style of a painter, which can be incorrectly attributed, for example, by other AI models. On the other hand, AI models may not be able to correctly identify the artist for real paintings, inducing users to incorrectly attribute paintings. In this paper, both problems are experimentally studied using state-of-the-art AI models for image generation and analysis on a large dataset with close to 40,000 paintings from 128 artists. The results show that vision language models have limited capabilities to: 1) perform canvas attribution and 2) to identify AI generated images. As users increasingly rely on queries to AI models to get information, these results show the need to improve the capabilities of VLMs to reliably perform artist attribution and detection of AI generated images to prevent the spread of incorrect information.