VCoder: Vielseitige Vision-Encoder für multimodale Large Language Models

VCoder: Versatile Vision Encoders for Multimodal Large Language Models

December 21, 2023

Autoren: Jitesh Jain, Jianwei Yang, Humphrey Shi

cs.AI

Zusammenfassung

Menschen verfügen über die bemerkenswerte Fähigkeit der visuellen Wahrnehmung, die es ihnen ermöglicht, zu sehen und das Gesehene zu verstehen, wodurch sie die visuelle Welt erfassen und daraufhin schlussfolgern können. Multimodale Large Language Models (MLLM) haben in letzter Zeit beeindruckende Leistungen bei visuell-sprachlichen Aufgaben gezeigt, die von visuellen Frage-Antwort-Systemen und Bildbeschreibungen bis hin zu visuellem Schließen und Bildgenerierung reichen. Wenn sie jedoch aufgefordert werden, die Entitäten in einem gegebenen Bild zu identifizieren oder zu zählen (wahrzunehmen), scheitern bestehende MLLM-Systeme. Um ein präzises MLLM-System für Wahrnehmung und Schließen zu entwickeln, schlagen wir die Verwendung von vielseitigen Vision Encodern (VCoder) als Wahrnehmungsaugen für multimodale LLMs vor. Wir speisen den VCoder mit Wahrnehmungsmodalitäten wie Segmentierungs- oder Tiefenkarten, wodurch die Wahrnehmungsfähigkeiten des MLLM verbessert werden. Zweitens nutzen wir die Bilder aus COCO und die Ausgaben von verfügbaren visuellen Wahrnehmungsmodellen, um unser COCO Segmentation Text (COST) Datenset zu erstellen, das für das Training und die Bewertung von MLLMs bei der Objektwahrnehmungsaufgabe verwendet wird. Drittens führen wir Metriken ein, um die Objektwahrnehmungsfähigkeiten von MLLMs auf unserem COST-Datensatz zu bewerten. Schließlich liefern wir umfangreiche experimentelle Belege, die die verbesserten objektbezogenen Wahrnehmungsfähigkeiten des VCoders im Vergleich zu bestehenden multimodalen LLMs, einschließlich GPT-4V, belegen. Wir stellen unser Datenset, unseren Code und unsere Modelle als Open Source zur Verfügung, um die Forschung zu fördern. Unser Code ist unter https://github.com/SHI-Labs/VCoder verfügbar.

English

Humans possess the remarkable skill of Visual Perception, the ability to see and understand the seen, helping them make sense of the visual world and, in turn, reason. Multimodal Large Language Models (MLLM) have recently achieved impressive performance on vision-language tasks ranging from visual question-answering and image captioning to visual reasoning and image generation. However, when prompted to identify or count (perceive) the entities in a given image, existing MLLM systems fail. Working towards developing an accurate MLLM system for perception and reasoning, we propose using Versatile vision enCoders (VCoder) as perception eyes for Multimodal LLMs. We feed the VCoder with perception modalities such as segmentation or depth maps, improving the MLLM's perception abilities. Secondly, we leverage the images from COCO and outputs from off-the-shelf vision perception models to create our COCO Segmentation Text (COST) dataset for training and evaluating MLLMs on the object perception task. Thirdly, we introduce metrics to assess the object perception abilities in MLLMs on our COST dataset. Lastly, we provide extensive experimental evidence proving the VCoder's improved object-level perception skills over existing Multimodal LLMs, including GPT-4V. We open-source our dataset, code, and models to promote research. We open-source our code at https://github.com/SHI-Labs/VCoder