DeepSeek-VL: 実世界の視覚-言語理解に向けて

要旨

本論文では、実世界の視覚と言語理解アプリケーション向けに設計されたオープンソースのVision-Language（VL）モデル、DeepSeek-VLを紹介する。我々のアプローチは、以下の3つの主要な次元に基づいて構築されている。まず、データの多様性、拡張性、および実世界のシナリオを包括的にカバーすることを目指し、ウェブスクリーンショット、PDF、OCR、チャート、知識ベースのコンテンツなどを含む実践的なコンテキストを広範に表現する。さらに、実際のユーザーシナリオからユースケースの分類体系を作成し、それに基づいて指示チューニング用のデータセットを構築する。このデータセットを用いたファインチューニングにより、実用アプリケーションにおけるモデルのユーザー体験が大幅に向上する。効率性と実世界のシナリオの要求を考慮し、DeepSeek-VLは高解像度画像（1024 x 1024）を効率的に処理するハイブリッド視覚エンコーダを採用し、比較的低い計算オーバーヘッドを維持する。この設計選択により、様々な視覚タスクにおいて重要な意味情報と詳細情報を捕捉する能力を確保する。我々は、優れたVision-Languageモデルは、まず第一に強力な言語能力を持つべきであると主張する。事前学習中にLLMの能力を維持するため、LLMのトレーニングを最初から統合し、視覚と言語モダリティ間の競合関係を慎重に管理する効果的なVL事前学習戦略を検討する。 DeepSeek-VLファミリー（1.3Bおよび7Bモデル）は、実世界のアプリケーションにおいて視覚言語チャットボットとして優れたユーザー体験を提供し、同じモデルサイズで幅広い視覚言語ベンチマークにおいて最先端または競争力のある性能を達成しつつ、言語中心のベンチマークにおいても堅牢な性能を維持する。我々は、1.3Bおよび7Bモデルを公開し、この基盤モデルに基づくイノベーションを促進する。

English

We present DeepSeek-VL, an open-source Vision-Language (VL) Model designed for real-world vision and language understanding applications. Our approach is structured around three key dimensions: We strive to ensure our data is diverse, scalable, and extensively covers real-world scenarios including web screenshots, PDFs, OCR, charts, and knowledge-based content, aiming for a comprehensive representation of practical contexts. Further, we create a use case taxonomy from real user scenarios and construct an instruction tuning dataset accordingly. The fine-tuning with this dataset substantially improves the model's user experience in practical applications. Considering efficiency and the demands of most real-world scenarios, DeepSeek-VL incorporates a hybrid vision encoder that efficiently processes high-resolution images (1024 x 1024), while maintaining a relatively low computational overhead. This design choice ensures the model's ability to capture critical semantic and detailed information across various visual tasks. We posit that a proficient Vision-Language Model should, foremost, possess strong language abilities. To ensure the preservation of LLM capabilities during pretraining, we investigate an effective VL pretraining strategy by integrating LLM training from the beginning and carefully managing the competitive dynamics observed between vision and language modalities. The DeepSeek-VL family (both 1.3B and 7B models) showcases superior user experiences as a vision-language chatbot in real-world applications, achieving state-of-the-art or competitive performance across a wide range of visual-language benchmarks at the same model size while maintaining robust performance on language-centric benchmarks. We have made both 1.3B and 7B models publicly accessible to foster innovations based on this foundation model.

DeepSeek-VL: 実世界の視覚-言語理解に向けて

DeepSeek-VL: Towards Real-World Vision-Language Understanding

要旨

Support