Sobre las Limitaciones de los Modelos de Visión-Lenguaje en la Comprensión de Transformaciones de Imágenes

On the Limitations of Vision-Language Models in Understanding Image Transforms

March 12, 2025

Autores: Ahmad Mustafa Anis, Hasnain Ali, Saquib Sarfraz

cs.AI

Resumen

Los Modelos de Lenguaje Visual (VLMs, por sus siglas en inglés) han demostrado un potencial significativo en diversas tareas posteriores, incluyendo la Generación de Imágenes/Vídeos, Respuesta a Preguntas Visuales, Chatbots Multimodales y Comprensión de Vídeos. Sin embargo, estos modelos a menudo tienen dificultades con transformaciones básicas de imágenes. Este artículo investiga la comprensión a nivel de imagen de los VLMs, específicamente CLIP de OpenAI y SigLIP de Google. Nuestros hallazgos revelan que estos modelos carecen de comprensión de múltiples aumentaciones a nivel de imagen. Para facilitar este estudio, creamos una versión aumentada del conjunto de datos Flickr8k, emparejando cada imagen con una descripción detallada de la transformación aplicada. Además, exploramos cómo esta deficiencia impacta las tareas posteriores, particularmente en la edición de imágenes, y evaluamos el rendimiento de los modelos Image2Image de vanguardia en transformaciones simples.

English

Vision Language Models (VLMs) have demonstrated significant potential in various downstream tasks, including Image/Video Generation, Visual Question Answering, Multimodal Chatbots, and Video Understanding. However, these models often struggle with basic image transformations. This paper investigates the image-level understanding of VLMs, specifically CLIP by OpenAI and SigLIP by Google. Our findings reveal that these models lack comprehension of multiple image-level augmentations. To facilitate this study, we created an augmented version of the Flickr8k dataset, pairing each image with a detailed description of the applied transformation. We further explore how this deficiency impacts downstream tasks, particularly in image editing, and evaluate the performance of state-of-the-art Image2Image models on simple transformations.