Tiny LVLM-eHub: Vroege multimodale experimenten met Bard

Samenvatting

Recente ontwikkelingen in Grote Visueel-Taalmodellen (LVLMs) hebben aanzienlijke vooruitgang laten zien bij het aanpakken van complexe multimodale taken. Onder deze geavanceerde ontwikkelingen springt Google's Bard eruit vanwege zijn opmerkelijke multimodale capaciteiten, die een uitgebreid begrip en redenering over verschillende domeinen bevorderen. Dit werk presenteert een vroege en holistische evaluatie van de multimodale vaardigheden van LVLMs, met een specifieke focus op Bard, door een lichtgewicht variant van LVLM-eHub voor te stellen, genaamd Tiny LVLM-eHub. In vergelijking met de standaardversie beschikt Tiny LVLM-eHub over verschillende aantrekkelijke eigenschappen. Ten eerste biedt het een systematische beoordeling van zes categorieën multimodale vaardigheden, waaronder visuele waarneming, visuele kennisverwerving, visueel redeneren, visueel gezond verstand, objecthallucinatie en belichaamde intelligentie, door middel van kwantitatieve evaluatie van 42 standaard tekstgerelateerde visuele benchmarks. Ten tweede voert het een diepgaande analyse uit van de voorspellingen van LVLMs met behulp van de ChatGPT Ensemble Evaluation (CEE), wat leidt tot een robuuste en nauwkeurige evaluatie en een verbeterde afstemming met menselijke evaluatie in vergelijking met de woordmatchende aanpak. Ten derde bestaat het uit slechts 2.1K beeld-tekstparen, wat het gemakkelijk maakt voor praktijkmensen om hun eigen offline LVLMs te evalueren. Door uitgebreide experimentele analyse toont deze studie aan dat Bard de meeste eerdere LVLMs overtreft in de meeste multimodale vaardigheden, behalve in objecthallucinatie, waar Bard nog steeds gevoelig voor is. Tiny LVLM-eHub dient als een basislijn-evaluatie voor verschillende LVLMs en moedigt innovatieve strategieën aan die gericht zijn op het bevorderen van multimodale technieken. Ons project is openbaar beschikbaar op https://github.com/OpenGVLab/Multi-Modality-Arena.

English

Recent advancements in Large Vision-Language Models (LVLMs) have demonstrated significant progress in tackling complex multimodal tasks. Among these cutting-edge developments, Google's Bard stands out for its remarkable multimodal capabilities, promoting comprehensive comprehension and reasoning across various domains. This work presents an early and holistic evaluation of LVLMs' multimodal abilities, with a particular focus on Bard, by proposing a lightweight variant of LVLM-eHub, named Tiny LVLM-eHub. In comparison to the vanilla version, Tiny LVLM-eHub possesses several appealing properties. Firstly, it provides a systematic assessment of six categories of multimodal capabilities, including visual perception, visual knowledge acquisition, visual reasoning, visual commonsense, object hallucination, and embodied intelligence, through quantitative evaluation of 42 standard text-related visual benchmarks. Secondly, it conducts an in-depth analysis of LVLMs' predictions using the ChatGPT Ensemble Evaluation (CEE), which leads to a robust and accurate evaluation and exhibits improved alignment with human evaluation compared to the word matching approach. Thirdly, it comprises a mere 2.1K image-text pairs, facilitating ease of use for practitioners to evaluate their own offline LVLMs. Through extensive experimental analysis, this study demonstrates that Bard outperforms previous LVLMs in most multimodal capabilities except object hallucination, to which Bard is still susceptible. Tiny LVLM-eHub serves as a baseline evaluation for various LVLMs and encourages innovative strategies aimed at advancing multimodal techniques. Our project is publicly available at https://github.com/OpenGVLab/Multi-Modality-Arena.

Tiny LVLM-eHub: Vroege multimodale experimenten met Bard

Tiny LVLM-eHub: Early Multimodal Experiments with Bard

Samenvatting

Support