Tiny LVLM-eHub : Premières expérimentations multimodales avec Bard

papers.abstract

Les récents progrès des modèles de vision et de langage à grande échelle (LVLMs) ont démontré des avancées significatives dans la résolution de tâches multimodales complexes. Parmi ces développements de pointe, Bard de Google se distingue par ses remarquables capacités multimodales, favorisant une compréhension et un raisonnement approfondis à travers divers domaines. Ce travail présente une évaluation précoce et holistique des capacités multimodales des LVLMs, en mettant particulièrement l'accent sur Bard, en proposant une variante légère de LVLM-eHub, nommée Tiny LVLM-eHub. Par rapport à la version standard, Tiny LVLM-eHub possède plusieurs propriétés attrayantes. Premièrement, elle offre une évaluation systématique de six catégories de capacités multimodales, incluant la perception visuelle, l'acquisition de connaissances visuelles, le raisonnement visuel, le bon sens visuel, l'hallucination d'objets et l'intelligence incarnée, à travers l'évaluation quantitative de 42 benchmarks visuels standards liés au texte. Deuxièmement, elle réalise une analyse approfondie des prédictions des LVLMs en utilisant l'évaluation d'ensemble ChatGPT (CEE), ce qui conduit à une évaluation robuste et précise et montre une meilleure concordance avec l'évaluation humaine par rapport à l'approche de correspondance de mots. Troisièmement, elle comprend seulement 2,1K paires image-texte, facilitant ainsi l'utilisation pour les praticiens afin d'évaluer leurs propres LVLMs hors ligne. À travers une analyse expérimentale approfondie, cette étude démontre que Bard surpasse les précédents LVLMs dans la plupart des capacités multimodales, à l'exception de l'hallucination d'objets, à laquelle Bard reste sensible. Tiny LVLM-eHub sert d'évaluation de référence pour divers LVLMs et encourage des stratégies innovantes visant à faire progresser les techniques multimodales. Notre projet est disponible publiquement à l'adresse https://github.com/OpenGVLab/Multi-Modality-Arena.

English

Recent advancements in Large Vision-Language Models (LVLMs) have demonstrated significant progress in tackling complex multimodal tasks. Among these cutting-edge developments, Google's Bard stands out for its remarkable multimodal capabilities, promoting comprehensive comprehension and reasoning across various domains. This work presents an early and holistic evaluation of LVLMs' multimodal abilities, with a particular focus on Bard, by proposing a lightweight variant of LVLM-eHub, named Tiny LVLM-eHub. In comparison to the vanilla version, Tiny LVLM-eHub possesses several appealing properties. Firstly, it provides a systematic assessment of six categories of multimodal capabilities, including visual perception, visual knowledge acquisition, visual reasoning, visual commonsense, object hallucination, and embodied intelligence, through quantitative evaluation of 42 standard text-related visual benchmarks. Secondly, it conducts an in-depth analysis of LVLMs' predictions using the ChatGPT Ensemble Evaluation (CEE), which leads to a robust and accurate evaluation and exhibits improved alignment with human evaluation compared to the word matching approach. Thirdly, it comprises a mere 2.1K image-text pairs, facilitating ease of use for practitioners to evaluate their own offline LVLMs. Through extensive experimental analysis, this study demonstrates that Bard outperforms previous LVLMs in most multimodal capabilities except object hallucination, to which Bard is still susceptible. Tiny LVLM-eHub serves as a baseline evaluation for various LVLMs and encourages innovative strategies aimed at advancing multimodal techniques. Our project is publicly available at https://github.com/OpenGVLab/Multi-Modality-Arena.

Tiny LVLM-eHub : Premières expérimentations multimodales avec Bard

Tiny LVLM-eHub: Early Multimodal Experiments with Bard

papers.abstract

Support