Tiny LVLM-eHub: Ранние эксперименты с мультимодальностью в Bard

Аннотация

Последние достижения в области крупных визуально-языковых моделей (LVLMs) продемонстрировали значительный прогресс в решении сложных мультимодальных задач. Среди этих передовых разработок выделяется Google Bard благодаря своим выдающимся мультимодальным возможностям, способствующим всестороннему пониманию и рассуждению в различных областях. В данной работе представлена ранняя и всесторонняя оценка мультимодальных способностей LVLMs, с особым акцентом на Bard, путем предложения облегченной версии LVLM-eHub, названной Tiny LVLM-eHub. По сравнению с базовой версией, Tiny LVLM-eHub обладает несколькими привлекательными свойствами. Во-первых, она обеспечивает систематическую оценку шести категорий мультимодальных способностей, включая визуальное восприятие, приобретение визуальных знаний, визуальное рассуждение, визуальный здравый смысл, галлюцинации объектов и воплощенный интеллект, посредством количественной оценки 42 стандартных визуальных тестов, связанных с текстом. Во-вторых, она проводит углубленный анализ предсказаний LVLMs с использованием ансамблевой оценки ChatGPT (CEE), что приводит к надежной и точной оценке и демонстрирует улучшенное соответствие с человеческой оценкой по сравнению с подходом сопоставления слов. В-третьих, она включает всего 2,1 тыс. пар изображение-текст, что облегчает использование для практиков, оценивающих свои собственные автономные LVLMs. Благодаря обширному экспериментальному анализу, это исследование показывает, что Bard превосходит предыдущие LVLMs в большинстве мультимодальных способностей, за исключением галлюцинаций объектов, к которым Bard все еще подвержен. Tiny LVLM-eHub служит базовой оценкой для различных LVLMs и стимулирует инновационные стратегии, направленные на развитие мультимодальных технологий. Наш проект доступен по адресу https://github.com/OpenGVLab/Multi-Modality-Arena.

English

Recent advancements in Large Vision-Language Models (LVLMs) have demonstrated significant progress in tackling complex multimodal tasks. Among these cutting-edge developments, Google's Bard stands out for its remarkable multimodal capabilities, promoting comprehensive comprehension and reasoning across various domains. This work presents an early and holistic evaluation of LVLMs' multimodal abilities, with a particular focus on Bard, by proposing a lightweight variant of LVLM-eHub, named Tiny LVLM-eHub. In comparison to the vanilla version, Tiny LVLM-eHub possesses several appealing properties. Firstly, it provides a systematic assessment of six categories of multimodal capabilities, including visual perception, visual knowledge acquisition, visual reasoning, visual commonsense, object hallucination, and embodied intelligence, through quantitative evaluation of 42 standard text-related visual benchmarks. Secondly, it conducts an in-depth analysis of LVLMs' predictions using the ChatGPT Ensemble Evaluation (CEE), which leads to a robust and accurate evaluation and exhibits improved alignment with human evaluation compared to the word matching approach. Thirdly, it comprises a mere 2.1K image-text pairs, facilitating ease of use for practitioners to evaluate their own offline LVLMs. Through extensive experimental analysis, this study demonstrates that Bard outperforms previous LVLMs in most multimodal capabilities except object hallucination, to which Bard is still susceptible. Tiny LVLM-eHub serves as a baseline evaluation for various LVLMs and encourages innovative strategies aimed at advancing multimodal techniques. Our project is publicly available at https://github.com/OpenGVLab/Multi-Modality-Arena.

Tiny LVLM-eHub: Ранние эксперименты с мультимодальностью в Bard

Tiny LVLM-eHub: Early Multimodal Experiments with Bard

Аннотация

Support