이미지 변환 이해에서 시각-언어 모델의 한계에 관하여

On the Limitations of Vision-Language Models in Understanding Image Transforms

March 12, 2025

저자: Ahmad Mustafa Anis, Hasnain Ali, Saquib Sarfraz

cs.AI

초록

비전 언어 모델(VLMs)은 이미지/비디오 생성, 시각적 질문 응답, 멀티모달 챗봇, 비디오 이해 등 다양한 다운스트림 작업에서 상당한 잠재력을 보여주었습니다. 그러나 이러한 모델들은 기본적인 이미지 변환 작업에서 종종 어려움을 겪습니다. 본 논문은 OpenAI의 CLIP와 Google의 SigLIP를 중심으로 VLMs의 이미지 수준 이해 능력을 조사합니다. 우리의 연구 결과에 따르면, 이러한 모델들은 다중 이미지 수준 증강 작업을 이해하지 못하는 것으로 나타났습니다. 이 연구를 위해 우리는 Flickr8k 데이터셋의 증강 버전을 생성하여 각 이미지에 적용된 변환에 대한 상세 설명을 추가했습니다. 또한 이러한 결함이 이미지 편집과 같은 다운스트림 작업에 미치는 영향을 탐구하고, 최신 Image2Image 모델들의 단순 변환 작업에 대한 성능을 평가했습니다.

English

Vision Language Models (VLMs) have demonstrated significant potential in various downstream tasks, including Image/Video Generation, Visual Question Answering, Multimodal Chatbots, and Video Understanding. However, these models often struggle with basic image transformations. This paper investigates the image-level understanding of VLMs, specifically CLIP by OpenAI and SigLIP by Google. Our findings reveal that these models lack comprehension of multiple image-level augmentations. To facilitate this study, we created an augmented version of the Flickr8k dataset, pairing each image with a detailed description of the applied transformation. We further explore how this deficiency impacts downstream tasks, particularly in image editing, and evaluate the performance of state-of-the-art Image2Image models on simple transformations.