Sobre as Limitações dos Modelos Visão-Linguagem na Compreensão de Transformações de Imagens

On the Limitations of Vision-Language Models in Understanding Image Transforms

March 12, 2025

Autores: Ahmad Mustafa Anis, Hasnain Ali, Saquib Sarfraz

cs.AI

Resumo

Modelos de Linguagem Visual (VLMs) demonstraram um potencial significativo em diversas tarefas subsequentes, incluindo Geração de Imagem/Video, Resposta a Perguntas Visuais, Chatbots Multimodais e Compreensão de Vídeo. No entanto, esses modelos frequentemente enfrentam dificuldades com transformações básicas de imagem. Este artigo investiga a compreensão em nível de imagem dos VLMs, especificamente o CLIP da OpenAI e o SigLIP da Google. Nossas descobertas revelam que esses modelos carecem de compreensão de múltiplas transformações em nível de imagem. Para facilitar este estudo, criamos uma versão aumentada do conjunto de dados Flickr8k, emparelhando cada imagem com uma descrição detalhada da transformação aplicada. Exploramos ainda como essa deficiência impacta tarefas subsequentes, particularmente na edição de imagens, e avaliamos o desempenho de modelos Image2Image de última geração em transformações simples.

English

Vision Language Models (VLMs) have demonstrated significant potential in various downstream tasks, including Image/Video Generation, Visual Question Answering, Multimodal Chatbots, and Video Understanding. However, these models often struggle with basic image transformations. This paper investigates the image-level understanding of VLMs, specifically CLIP by OpenAI and SigLIP by Google. Our findings reveal that these models lack comprehension of multiple image-level augmentations. To facilitate this study, we created an augmented version of the Flickr8k dataset, pairing each image with a detailed description of the applied transformation. We further explore how this deficiency impacts downstream tasks, particularly in image editing, and evaluate the performance of state-of-the-art Image2Image models on simple transformations.