Tiny LVLM-eHub: Primeiros Experimentos Multimodais com o Bard

Tiny LVLM-eHub: Early Multimodal Experiments with Bard

August 7, 2023

Autores: Wenqi Shao, Yutao Hu, Peng Gao, Meng Lei, Kaipeng Zhang, Fanqing Meng, Peng Xu, Siyuan Huang, Hongsheng Li, Yu Qiao, Ping Luo

cs.AI

Resumo

Os recentes avanços nos Grandes Modelos de Visão e Linguagem (LVLMs, na sigla em inglês) demonstraram progresso significativo na abordagem de tarefas multimodais complexas. Entre esses desenvolvimentos de ponta, o Bard, da Google, destaca-se por suas notáveis capacidades multimodais, promovendo uma compreensão e raciocínio abrangentes em diversos domínios. Este trabalho apresenta uma avaliação inicial e holística das habilidades multimodais dos LVLMs, com foco particular no Bard, propondo uma variante leve do LVLM-eHub, denominada Tiny LVLM-eHub. Em comparação com a versão original, o Tiny LVLM-eHub possui várias propriedades atraentes. Em primeiro lugar, ele fornece uma avaliação sistemática de seis categorias de capacidades multimodais, incluindo percepção visual, aquisição de conhecimento visual, raciocínio visual, senso comum visual, alucinação de objetos e inteligência incorporada, por meio da avaliação quantitativa de 42 benchmarks visuais padrão relacionados a texto. Em segundo lugar, ele realiza uma análise aprofundada das previsões dos LVLMs usando a Avaliação de Conjunto ChatGPT (CEE, na sigla em inglês), o que resulta em uma avaliação robusta e precisa e exibe uma melhor alinhamento com a avaliação humana em comparação com a abordagem de correspondência de palavras. Em terceiro lugar, ele compreende apenas 2,1 mil pares de imagem-texto, facilitando o uso por profissionais para avaliar seus próprios LVLMs offline. Por meio de uma extensa análise experimental, este estudo demonstra que o Bard supera os LVLMs anteriores na maioria das capacidades multimodais, exceto na alucinação de objetos, à qual o Bard ainda é suscetível. O Tiny LVLM-eHub serve como uma avaliação de base para vários LVLMs e incentiva estratégias inovadoras voltadas para o avanço das técnicas multimodais. Nosso projeto está publicamente disponível em https://github.com/OpenGVLab/Multi-Modality-Arena.

English

Recent advancements in Large Vision-Language Models (LVLMs) have demonstrated significant progress in tackling complex multimodal tasks. Among these cutting-edge developments, Google's Bard stands out for its remarkable multimodal capabilities, promoting comprehensive comprehension and reasoning across various domains. This work presents an early and holistic evaluation of LVLMs' multimodal abilities, with a particular focus on Bard, by proposing a lightweight variant of LVLM-eHub, named Tiny LVLM-eHub. In comparison to the vanilla version, Tiny LVLM-eHub possesses several appealing properties. Firstly, it provides a systematic assessment of six categories of multimodal capabilities, including visual perception, visual knowledge acquisition, visual reasoning, visual commonsense, object hallucination, and embodied intelligence, through quantitative evaluation of 42 standard text-related visual benchmarks. Secondly, it conducts an in-depth analysis of LVLMs' predictions using the ChatGPT Ensemble Evaluation (CEE), which leads to a robust and accurate evaluation and exhibits improved alignment with human evaluation compared to the word matching approach. Thirdly, it comprises a mere 2.1K image-text pairs, facilitating ease of use for practitioners to evaluate their own offline LVLMs. Through extensive experimental analysis, this study demonstrates that Bard outperforms previous LVLMs in most multimodal capabilities except object hallucination, to which Bard is still susceptible. Tiny LVLM-eHub serves as a baseline evaluation for various LVLMs and encourages innovative strategies aimed at advancing multimodal techniques. Our project is publicly available at https://github.com/OpenGVLab/Multi-Modality-Arena.