Tiny LVLM-eHub: Frühe multimodale Experimente mit Bard

papers.abstract

Jüngste Fortschritte bei großen visuell-sprachlichen Modellen (Large Vision-Language Models, LVLMs) haben bedeutende Fortschritte bei der Bewältigung komplexer multimodaler Aufgaben gezeigt. Unter diesen wegweisenden Entwicklungen sticht Googles Bard durch seine bemerkenswerten multimodalen Fähigkeiten hervor, die ein umfassendes Verständnis und logisches Denken über verschiedene Domänen hinweg fördern. Diese Arbeit präsentiert eine frühe und ganzheitliche Bewertung der multimodalen Fähigkeiten von LVLMs, mit einem besonderen Fokus auf Bard, durch die Vorstellung einer leichtgewichtigen Variante von LVLM-eHub, genannt Tiny LVLM-eHub. Im Vergleich zur Standardversion besitzt Tiny LVLM-eHub mehrere attraktive Eigenschaften. Erstens bietet es eine systematische Bewertung von sechs Kategorien multimodaler Fähigkeiten, einschließlich visueller Wahrnehmung, visueller Wissensaneignung, visueller Logik, visuellem gesunden Menschenverstand, Objekthalluzination und verkörperter Intelligenz, durch quantitative Auswertung von 42 standardisierten textbezogenen visuellen Benchmarks. Zweitens führt es eine detaillierte Analyse der Vorhersagen von LVLMs unter Verwendung der ChatGPT Ensemble Evaluation (CEE) durch, was zu einer robusten und genauen Bewertung führt und eine verbesserte Übereinstimmung mit der menschlichen Bewertung im Vergleich zum Wortabgleichansatz zeigt. Drittens umfasst es lediglich 2.1K Bild-Text-Paare, was die einfache Nutzung für Praktiker zur Bewertung ihrer eigenen offline LVLMs erleichtert. Durch umfangreiche experimentelle Analysen zeigt diese Studie, dass Bard in den meisten multimodalen Fähigkeiten frühere LVLMs übertrifft, mit Ausnahme der Objekthalluzination, für die Bard weiterhin anfällig ist. Tiny LVLM-eHub dient als Baseline-Bewertung für verschiedene LVLMs und fördert innovative Strategien zur Weiterentwicklung multimodaler Techniken. Unser Projekt ist öffentlich verfügbar unter https://github.com/OpenGVLab/Multi-Modality-Arena.

English

Recent advancements in Large Vision-Language Models (LVLMs) have demonstrated significant progress in tackling complex multimodal tasks. Among these cutting-edge developments, Google's Bard stands out for its remarkable multimodal capabilities, promoting comprehensive comprehension and reasoning across various domains. This work presents an early and holistic evaluation of LVLMs' multimodal abilities, with a particular focus on Bard, by proposing a lightweight variant of LVLM-eHub, named Tiny LVLM-eHub. In comparison to the vanilla version, Tiny LVLM-eHub possesses several appealing properties. Firstly, it provides a systematic assessment of six categories of multimodal capabilities, including visual perception, visual knowledge acquisition, visual reasoning, visual commonsense, object hallucination, and embodied intelligence, through quantitative evaluation of 42 standard text-related visual benchmarks. Secondly, it conducts an in-depth analysis of LVLMs' predictions using the ChatGPT Ensemble Evaluation (CEE), which leads to a robust and accurate evaluation and exhibits improved alignment with human evaluation compared to the word matching approach. Thirdly, it comprises a mere 2.1K image-text pairs, facilitating ease of use for practitioners to evaluate their own offline LVLMs. Through extensive experimental analysis, this study demonstrates that Bard outperforms previous LVLMs in most multimodal capabilities except object hallucination, to which Bard is still susceptible. Tiny LVLM-eHub serves as a baseline evaluation for various LVLMs and encourages innovative strategies aimed at advancing multimodal techniques. Our project is publicly available at https://github.com/OpenGVLab/Multi-Modality-Arena.

Tiny LVLM-eHub: Frühe multimodale Experimente mit Bard

Tiny LVLM-eHub: Early Multimodal Experiments with Bard

papers.abstract

Support