VCoder: 멀티모달 대규모 언어 모델을 위한 다목적 비전 인코더

초록

인간은 시각적 지각(Visual Perception)이라는 놀라운 능력을 가지고 있습니다. 이는 보이는 것을 보고 이해하며, 이를 통해 시각적 세계를 이해하고 추론하는 능력입니다. 최근 멀티모달 대형 언어 모델(Multimodal Large Language Models, MLLM)은 시각 질의응답, 이미지 캡셔닝, 시각적 추론, 이미지 생성 등 다양한 시각-언어 작업에서 인상적인 성능을 달성했습니다. 그러나 주어진 이미지에서 개체를 식별하거나 세는(지각하는) 작업을 요청받으면, 기존의 MLLM 시스템은 실패합니다. 정확한 지각과 추론을 위한 MLLM 시스템 개발을 목표로, 우리는 멀티모달 LLM을 위한 지각의 눈으로서 다용도 시각 인코더(Versatile vision enCoders, VCoder)를 사용할 것을 제안합니다. 우리는 VCoder에 세그멘테이션 또는 깊이 맵과 같은 지각 모달리티를 입력하여 MLLM의 지각 능력을 향상시킵니다. 둘째, 우리는 COCO의 이미지와 기존의 시각 지각 모델의 출력을 활용하여, 객체 지각 작업에서 MLLM을 훈련하고 평가하기 위한 COCO 세그멘테이션 텍스트(COCO Segmentation Text, COST) 데이터셋을 생성합니다. 셋째, 우리는 COST 데이터셋에서 MLLM의 객체 지각 능력을 평가하기 위한 메트릭을 소개합니다. 마지막으로, 우리는 VCoder가 GPT-4V를 포함한 기존의 멀티모달 LLM보다 향상된 객체 수준의 지각 능력을 입증하는 광범위한 실험 결과를 제공합니다. 우리는 연구를 촉진하기 위해 데이터셋, 코드, 모델을 오픈소스로 공개합니다. 코드는 https://github.com/SHI-Labs/VCoder에서 확인할 수 있습니다.

English

Humans possess the remarkable skill of Visual Perception, the ability to see and understand the seen, helping them make sense of the visual world and, in turn, reason. Multimodal Large Language Models (MLLM) have recently achieved impressive performance on vision-language tasks ranging from visual question-answering and image captioning to visual reasoning and image generation. However, when prompted to identify or count (perceive) the entities in a given image, existing MLLM systems fail. Working towards developing an accurate MLLM system for perception and reasoning, we propose using Versatile vision enCoders (VCoder) as perception eyes for Multimodal LLMs. We feed the VCoder with perception modalities such as segmentation or depth maps, improving the MLLM's perception abilities. Secondly, we leverage the images from COCO and outputs from off-the-shelf vision perception models to create our COCO Segmentation Text (COST) dataset for training and evaluating MLLMs on the object perception task. Thirdly, we introduce metrics to assess the object perception abilities in MLLMs on our COST dataset. Lastly, we provide extensive experimental evidence proving the VCoder's improved object-level perception skills over existing Multimodal LLMs, including GPT-4V. We open-source our dataset, code, and models to promote research. We open-source our code at https://github.com/SHI-Labs/VCoder

VCoder: 멀티모달 대규모 언어 모델을 위한 다목적 비전 인코더

VCoder: Versatile Vision Encoders for Multimodal Large Language Models

초록

Support