DeepSeek-VL: Auf dem Weg zu einer Vision-Sprach-Verständnis in der realen Welt

DeepSeek-VL: Towards Real-World Vision-Language Understanding

March 8, 2024

Autoren: Haoyu Lu, Wen Liu, Bo Zhang, Bingxuan Wang, Kai Dong, Bo Liu, Jingxiang Sun, Tongzheng Ren, Zhuoshu Li, Yaofeng Sun, Chengqi Deng, Hanwei Xu, Zhenda Xie, Chong Ruan

cs.AI

Zusammenfassung

Wir präsentieren DeepSeek-VL, ein Open-Source Vision-Language (VL) Modell, das für Vision- und Sprachverständnisanwendungen in der realen Welt entwickelt wurde. Unser Ansatz ist strukturiert um drei Schlüsseldimensionen: Wir streben danach, sicherzustellen, dass unsere Daten vielfältig, skalierbar und umfassend verschiedene reale Szenarien abdecken, einschließlich Web-Screenshots, PDFs, OCR, Diagramme und wissensbasierte Inhalte, mit dem Ziel einer umfassenden Darstellung praktischer Kontexte. Darüber hinaus erstellen wir eine Anwendungsfalldatenbank aus realen Benutzerszenarien und konstruieren entsprechend einen Anleitungsfine-Tuning-Datensatz. Das Feintuning mit diesem Datensatz verbessert signifikant die Benutzererfahrung des Modells in praktischen Anwendungen. Unter Berücksichtigung von Effizienz und den Anforderungen der meisten realen Szenarien integriert DeepSeek-VL einen hybriden Vision-Encoder, der hochauflösende Bilder (1024 x 1024) effizient verarbeitet, während er einen relativ geringen Rechenaufwand aufrechterhält. Diese Designentscheidung gewährleistet die Fähigkeit des Modells, kritische semantische und detaillierte Informationen über verschiedene visuelle Aufgaben hinweg zu erfassen. Wir behaupten, dass ein kompetentes Vision-Language Modell in erster Linie über starke Sprachfähigkeiten verfügen sollte. Um die Erhaltung der LLM-Fähigkeiten während des Pretrainings sicherzustellen, untersuchen wir eine effektive VL-Pretraining-Strategie, indem wir das LLM-Training von Anfang an integrieren und die beobachteten Wettbewerbsdynamiken zwischen den Modalitäten Vision und Sprache sorgfältig verwalten. Die DeepSeek-VL-Familie (sowohl 1,3B als auch 7B Modelle) zeigt überlegene Benutzererfahrungen als Vision-Sprach-Chatbot in realen Anwendungen und erzielt bei gleicher Modellgröße eine Spitzenleistung oder wettbewerbsfähige Leistungen über eine Vielzahl von visuell-sprachlichen Benchmarks hinweg, während sie robuste Leistungen bei sprachzentrierten Benchmarks beibehält. Wir haben sowohl die 1,3B- als auch die 7B-Modelle öffentlich zugänglich gemacht, um Innovationen auf der Grundlage dieses Modells zu fördern.

English

We present DeepSeek-VL, an open-source Vision-Language (VL) Model designed for real-world vision and language understanding applications. Our approach is structured around three key dimensions: We strive to ensure our data is diverse, scalable, and extensively covers real-world scenarios including web screenshots, PDFs, OCR, charts, and knowledge-based content, aiming for a comprehensive representation of practical contexts. Further, we create a use case taxonomy from real user scenarios and construct an instruction tuning dataset accordingly. The fine-tuning with this dataset substantially improves the model's user experience in practical applications. Considering efficiency and the demands of most real-world scenarios, DeepSeek-VL incorporates a hybrid vision encoder that efficiently processes high-resolution images (1024 x 1024), while maintaining a relatively low computational overhead. This design choice ensures the model's ability to capture critical semantic and detailed information across various visual tasks. We posit that a proficient Vision-Language Model should, foremost, possess strong language abilities. To ensure the preservation of LLM capabilities during pretraining, we investigate an effective VL pretraining strategy by integrating LLM training from the beginning and carefully managing the competitive dynamics observed between vision and language modalities. The DeepSeek-VL family (both 1.3B and 7B models) showcases superior user experiences as a vision-language chatbot in real-world applications, achieving state-of-the-art or competitive performance across a wide range of visual-language benchmarks at the same model size while maintaining robust performance on language-centric benchmarks. We have made both 1.3B and 7B models publicly accessible to foster innovations based on this foundation model.