Tiny LVLM-eHub: Primi esperimenti multimodali con Bard

Abstract

I recenti progressi nei Modelli Linguistico-Visuali di Grande Scala (LVLM) hanno dimostrato significativi avanzamenti nell'affrontare compiti multimodali complessi. Tra questi sviluppi all'avanguardia, il Bard di Google si distingue per le sue notevoli capacità multimodali, promuovendo una comprensione e un ragionamento completi in vari domini. Questo lavoro presenta una valutazione precoce e olistica delle abilità multimodali degli LVLM, con un particolare focus su Bard, proponendo una variante leggera di LVLM-eHub, denominata Tiny LVLM-eHub. Rispetto alla versione standard, Tiny LVLM-eHub possiede diverse proprietà interessanti. In primo luogo, fornisce una valutazione sistematica di sei categorie di capacità multimodali, tra cui percezione visiva, acquisizione di conoscenza visiva, ragionamento visivo, senso comune visivo, allucinazione di oggetti e intelligenza incarnata, attraverso una valutazione quantitativa di 42 benchmark visivi standard relativi al testo. In secondo luogo, conduce un'analisi approfondita delle previsioni degli LVLM utilizzando la Valutazione di Ensemble ChatGPT (CEE), che porta a una valutazione robusta e accurata e mostra un migliore allineamento con la valutazione umana rispetto all'approccio di corrispondenza delle parole. In terzo luogo, comprende solo 2.1K coppie immagine-testo, facilitando l'uso per i professionisti per valutare i propri LVLM offline. Attraverso un'ampia analisi sperimentale, questo studio dimostra che Bard supera i precedenti LVLM nella maggior parte delle capacità multimodali, ad eccezione dell'allucinazione di oggetti, alla quale Bard è ancora suscettibile. Tiny LVLM-eHub serve come valutazione di base per vari LVLM e incoraggia strategie innovative mirate a far progredire le tecniche multimodali. Il nostro progetto è disponibile pubblicamente all'indirizzo https://github.com/OpenGVLab/Multi-Modality-Arena.

English

Recent advancements in Large Vision-Language Models (LVLMs) have demonstrated significant progress in tackling complex multimodal tasks. Among these cutting-edge developments, Google's Bard stands out for its remarkable multimodal capabilities, promoting comprehensive comprehension and reasoning across various domains. This work presents an early and holistic evaluation of LVLMs' multimodal abilities, with a particular focus on Bard, by proposing a lightweight variant of LVLM-eHub, named Tiny LVLM-eHub. In comparison to the vanilla version, Tiny LVLM-eHub possesses several appealing properties. Firstly, it provides a systematic assessment of six categories of multimodal capabilities, including visual perception, visual knowledge acquisition, visual reasoning, visual commonsense, object hallucination, and embodied intelligence, through quantitative evaluation of 42 standard text-related visual benchmarks. Secondly, it conducts an in-depth analysis of LVLMs' predictions using the ChatGPT Ensemble Evaluation (CEE), which leads to a robust and accurate evaluation and exhibits improved alignment with human evaluation compared to the word matching approach. Thirdly, it comprises a mere 2.1K image-text pairs, facilitating ease of use for practitioners to evaluate their own offline LVLMs. Through extensive experimental analysis, this study demonstrates that Bard outperforms previous LVLMs in most multimodal capabilities except object hallucination, to which Bard is still susceptible. Tiny LVLM-eHub serves as a baseline evaluation for various LVLMs and encourages innovative strategies aimed at advancing multimodal techniques. Our project is publicly available at https://github.com/OpenGVLab/Multi-Modality-Arena.

Tiny LVLM-eHub: Primi esperimenti multimodali con Bard

Tiny LVLM-eHub: Early Multimodal Experiments with Bard

Abstract

Support