Gemini vs. GPT-4V: Ein vorläufiger Vergleich und eine Kombination von Vision-Sprache-Modellen anhand qualitativer Fallbeispiele

Gemini vs GPT-4V: A Preliminary Comparison and Combination of Vision-Language Models Through Qualitative Cases

December 22, 2023

Autoren: Zhangyang Qi, Ye Fang, Mengchen Zhang, Zeyi Sun, Tong Wu, Ziwei Liu, Dahua Lin, Jiaqi Wang, Hengshuang Zhao

cs.AI

Zusammenfassung

Der sich rasant entwickelnde Bereich der Multimodalen Großen Sprachmodelle (MLLMs) steht an der Spitze der Integration von linguistischer und visueller Verarbeitung in der künstlichen Intelligenz. Diese Arbeit präsentiert eine detaillierte vergleichende Studie zweier wegweisender Modelle: Googles Gemini und OpenAI's GPT-4V(ision). Unsere Studie umfasst eine vielschichtige Bewertung beider Modelle in zentralen Dimensionen wie Vision-Sprache-Fähigkeit, Interaktion mit Menschen, zeitliches Verständnis sowie Bewertungen in Bezug auf Intelligenz und Emotionalen Quotienten. Der Kern unserer Analyse befasst sich mit den unterschiedlichen visuellen Verständnisfähigkeiten jedes Modells. Wir führten eine Reihe strukturierter Experimente durch, um ihre Leistung in verschiedenen industriellen Anwendungsszenarien zu bewerten, und bieten so eine umfassende Perspektive auf ihre praktische Nutzbarkeit. Dabei beziehen wir nicht nur direkte Leistungsvergleiche ein, sondern auch Anpassungen in Prompts und Szenarien, um eine ausgewogene und faire Analyse zu gewährleisten. Unsere Ergebnisse beleuchten die einzigartigen Stärken und Nischen beider Modelle. GPT-4V zeichnet sich durch Präzision und Prägnanz in den Antworten aus, während Gemini durch detaillierte, umfangreiche Antworten, begleitet von relevanten Bildern und Links, überzeugt. Diese Erkenntnisse beleuchten nicht nur die vergleichenden Vorzüge von Gemini und GPT-4V, sondern unterstreichen auch die sich entwickelnde Landschaft multimodaler Basismodelle und ebnen den Weg für zukünftige Fortschritte in diesem Bereich. Nach dem Vergleich versuchten wir, bessere Ergebnisse durch die Kombination der beiden Modelle zu erzielen. Abschließend möchten wir den Teams hinter GPT-4V und Gemini unseren tiefen Dank für ihre wegweisenden Beiträge auf diesem Gebiet aussprechen. Unser Dank gilt auch der umfassenden qualitativen Analyse, die in 'Dawn' von Yang et al. präsentiert wurde. Diese Arbeit, mit ihrer umfangreichen Sammlung von Bildbeispielen, Prompts und GPT-4V-bezogenen Ergebnissen, bildete eine grundlegende Basis für unsere Analyse.

English

The rapidly evolving sector of Multi-modal Large Language Models (MLLMs) is at the forefront of integrating linguistic and visual processing in artificial intelligence. This paper presents an in-depth comparative study of two pioneering models: Google's Gemini and OpenAI's GPT-4V(ision). Our study involves a multi-faceted evaluation of both models across key dimensions such as Vision-Language Capability, Interaction with Humans, Temporal Understanding, and assessments in both Intelligence and Emotional Quotients. The core of our analysis delves into the distinct visual comprehension abilities of each model. We conducted a series of structured experiments to evaluate their performance in various industrial application scenarios, offering a comprehensive perspective on their practical utility. We not only involve direct performance comparisons but also include adjustments in prompts and scenarios to ensure a balanced and fair analysis. Our findings illuminate the unique strengths and niches of both models. GPT-4V distinguishes itself with its precision and succinctness in responses, while Gemini excels in providing detailed, expansive answers accompanied by relevant imagery and links. These understandings not only shed light on the comparative merits of Gemini and GPT-4V but also underscore the evolving landscape of multimodal foundation models, paving the way for future advancements in this area. After the comparison, we attempted to achieve better results by combining the two models. Finally, We would like to express our profound gratitude to the teams behind GPT-4V and Gemini for their pioneering contributions to the field. Our acknowledgments are also extended to the comprehensive qualitative analysis presented in 'Dawn' by Yang et al. This work, with its extensive collection of image samples, prompts, and GPT-4V-related results, provided a foundational basis for our analysis.