Tiny LVLM-eHub: Primeros experimentos multimodales con Bard

Resumen

Los recientes avances en los Modelos de Lenguaje y Visión a Gran Escala (LVLMs, por sus siglas en inglés) han demostrado un progreso significativo en la resolución de tareas multimodales complejas. Entre estos desarrollos de vanguardia, Bard de Google destaca por sus notables capacidades multimodales, promoviendo una comprensión y razonamiento integrales en diversos dominios. Este trabajo presenta una evaluación temprana y holística de las habilidades multimodales de los LVLMs, con un enfoque particular en Bard, mediante la propuesta de una variante ligera de LVLM-eHub, denominada Tiny LVLM-eHub. En comparación con la versión estándar, Tiny LVLM-eHub posee varias propiedades atractivas. En primer lugar, ofrece una evaluación sistemática de seis categorías de capacidades multimodales, que incluyen percepción visual, adquisición de conocimiento visual, razonamiento visual, sentido común visual, alucinación de objetos e inteligencia encarnada, a través de la evaluación cuantitativa de 42 benchmarks visuales estándar relacionados con texto. En segundo lugar, realiza un análisis en profundidad de las predicciones de los LVLMs utilizando la Evaluación de Conjunto de ChatGPT (CEE, por sus siglas en inglés), lo que conduce a una evaluación robusta y precisa y muestra una mayor alineación con la evaluación humana en comparación con el enfoque de coincidencia de palabras. En tercer lugar, comprende solo 2.1K pares de imagen-texto, facilitando su uso para que los profesionales evalúen sus propios LVLMs offline. A través de un extenso análisis experimental, este estudio demuestra que Bard supera a los LVLMs anteriores en la mayoría de las capacidades multimodales, excepto en la alucinación de objetos, a la cual Bard sigue siendo susceptible. Tiny LVLM-eHub sirve como una evaluación de referencia para varios LVLMs y fomenta estrategias innovadoras destinadas a avanzar en las técnicas multimodales. Nuestro proyecto está disponible públicamente en https://github.com/OpenGVLab/Multi-Modality-Arena.

English

Recent advancements in Large Vision-Language Models (LVLMs) have demonstrated significant progress in tackling complex multimodal tasks. Among these cutting-edge developments, Google's Bard stands out for its remarkable multimodal capabilities, promoting comprehensive comprehension and reasoning across various domains. This work presents an early and holistic evaluation of LVLMs' multimodal abilities, with a particular focus on Bard, by proposing a lightweight variant of LVLM-eHub, named Tiny LVLM-eHub. In comparison to the vanilla version, Tiny LVLM-eHub possesses several appealing properties. Firstly, it provides a systematic assessment of six categories of multimodal capabilities, including visual perception, visual knowledge acquisition, visual reasoning, visual commonsense, object hallucination, and embodied intelligence, through quantitative evaluation of 42 standard text-related visual benchmarks. Secondly, it conducts an in-depth analysis of LVLMs' predictions using the ChatGPT Ensemble Evaluation (CEE), which leads to a robust and accurate evaluation and exhibits improved alignment with human evaluation compared to the word matching approach. Thirdly, it comprises a mere 2.1K image-text pairs, facilitating ease of use for practitioners to evaluate their own offline LVLMs. Through extensive experimental analysis, this study demonstrates that Bard outperforms previous LVLMs in most multimodal capabilities except object hallucination, to which Bard is still susceptible. Tiny LVLM-eHub serves as a baseline evaluation for various LVLMs and encourages innovative strategies aimed at advancing multimodal techniques. Our project is publicly available at https://github.com/OpenGVLab/Multi-Modality-Arena.

Tiny LVLM-eHub: Primeros experimentos multimodales con Bard

Tiny LVLM-eHub: Early Multimodal Experiments with Bard

Resumen

Support