VCoder: Encoder Visivi Versatili per Modelli Linguistici Multimodali di Grande Scala

VCoder: Versatile Vision Encoders for Multimodal Large Language Models

December 21, 2023

Autori: Jitesh Jain, Jianwei Yang, Humphrey Shi

cs.AI

Abstract

Gli esseri umani possiedono la straordinaria abilità della Percezione Visiva, la capacità di vedere e comprendere ciò che viene osservato, aiutandoli a interpretare il mondo visivo e, di conseguenza, a ragionare. I Modelli Linguistici Multimodali di Grande Scala (MLLM) hanno recentemente ottenuto prestazioni impressionanti in compiti che coinvolgono visione e linguaggio, che vanno dal rispondere a domande visive e generare didascalie per immagini al ragionamento visivo e alla generazione di immagini. Tuttavia, quando viene chiesto loro di identificare o contare (percepire) le entità in una determinata immagine, i sistemi MLLM esistenti falliscono. Con l'obiettivo di sviluppare un sistema MLLM accurato per la percezione e il ragionamento, proponiamo l'uso di Codificatori Visivi Versatili (VCoder) come "occhi percettivi" per i Modelli Linguistici Multimodali. Alimentiamo il VCoder con modalità percettive come mappe di segmentazione o di profondità, migliorando le capacità percettive dell'MLLM. In secondo luogo, sfruttiamo le immagini di COCO e gli output di modelli di percezione visiva preesistenti per creare il nostro dataset COCO Segmentation Text (COST), utilizzato per addestrare e valutare gli MLLM sul compito di percezione degli oggetti. In terzo luogo, introduciamo metriche per valutare le capacità di percezione degli oggetti negli MLLM sul nostro dataset COST. Infine, forniamo ampie prove sperimentali che dimostrano i migliorati livelli di percezione a livello di oggetto del VCoder rispetto agli MLLM esistenti, incluso GPT-4V. Rendiamo disponibili in open source il nostro dataset, codice e modelli per promuovere la ricerca. Il nostro codice è disponibile all'indirizzo https://github.com/SHI-Labs/VCoder.

English

Humans possess the remarkable skill of Visual Perception, the ability to see and understand the seen, helping them make sense of the visual world and, in turn, reason. Multimodal Large Language Models (MLLM) have recently achieved impressive performance on vision-language tasks ranging from visual question-answering and image captioning to visual reasoning and image generation. However, when prompted to identify or count (perceive) the entities in a given image, existing MLLM systems fail. Working towards developing an accurate MLLM system for perception and reasoning, we propose using Versatile vision enCoders (VCoder) as perception eyes for Multimodal LLMs. We feed the VCoder with perception modalities such as segmentation or depth maps, improving the MLLM's perception abilities. Secondly, we leverage the images from COCO and outputs from off-the-shelf vision perception models to create our COCO Segmentation Text (COST) dataset for training and evaluating MLLMs on the object perception task. Thirdly, we introduce metrics to assess the object perception abilities in MLLMs on our COST dataset. Lastly, we provide extensive experimental evidence proving the VCoder's improved object-level perception skills over existing Multimodal LLMs, including GPT-4V. We open-source our dataset, code, and models to promote research. We open-source our code at https://github.com/SHI-Labs/VCoder