DeepSeek-VL : Vers une compréhension vision-langage dans le monde réel

DeepSeek-VL: Towards Real-World Vision-Language Understanding

March 8, 2024

Auteurs: Haoyu Lu, Wen Liu, Bo Zhang, Bingxuan Wang, Kai Dong, Bo Liu, Jingxiang Sun, Tongzheng Ren, Zhuoshu Li, Yaofeng Sun, Chengqi Deng, Hanwei Xu, Zhenda Xie, Chong Ruan

cs.AI

Résumé

Nous présentons DeepSeek-VL, un modèle Vision-Langage (VL) open-source conçu pour des applications pratiques de compréhension visuelle et linguistique. Notre approche s'articule autour de trois dimensions clés : Nous veillons à ce que nos données soient diversifiées, évolutives et couvrent largement des scénarios du monde réel, incluant des captures d'écran web, des PDFs, de la reconnaissance optique de caractères (OCR), des graphiques et des contenus basés sur des connaissances, visant ainsi une représentation exhaustive de contextes pratiques. De plus, nous établissons une taxonomie des cas d'usage à partir de scénarios utilisateurs réels et construisons un ensemble de données d'ajustement d'instructions en conséquence. Le fine-tuning avec cet ensemble améliore significativement l'expérience utilisateur du modèle dans des applications pratiques. En tenant compte de l'efficacité et des exigences de la plupart des scénarios réels, DeepSeek-VL intègre un encodeur visuel hybride qui traite efficacement des images haute résolution (1024 x 1024), tout en maintenant une charge de calcul relativement faible. Ce choix de conception garantit la capacité du modèle à capturer des informations sémantiques critiques et des détails fins dans diverses tâches visuelles. Nous postulons qu'un modèle Vision-Langage compétent doit, avant tout, posséder de solides capacités linguistiques. Pour préserver les performances des modèles de langage (LLM) lors du pré-entraînement, nous explorons une stratégie efficace de pré-entraînement VL en intégrant l'entraînement des LLM dès le début et en gérant attentivement les dynamiques concurrentielles observées entre les modalités visuelles et linguistiques. La famille DeepSeek-VL (incluant les modèles 1,3B et 7B) démontre des expériences utilisateur supérieures en tant que chatbot vision-langage dans des applications réelles, atteignant des performances de pointe ou compétitives sur un large éventail de benchmarks visuels-linguistiques pour une taille de modèle donnée, tout en maintenant des performances robustes sur des benchmarks centrés sur le langage. Nous avons rendu les modèles 1,3B et 7B accessibles au public pour favoriser les innovations basées sur ce modèle fondateur.

English

We present DeepSeek-VL, an open-source Vision-Language (VL) Model designed for real-world vision and language understanding applications. Our approach is structured around three key dimensions: We strive to ensure our data is diverse, scalable, and extensively covers real-world scenarios including web screenshots, PDFs, OCR, charts, and knowledge-based content, aiming for a comprehensive representation of practical contexts. Further, we create a use case taxonomy from real user scenarios and construct an instruction tuning dataset accordingly. The fine-tuning with this dataset substantially improves the model's user experience in practical applications. Considering efficiency and the demands of most real-world scenarios, DeepSeek-VL incorporates a hybrid vision encoder that efficiently processes high-resolution images (1024 x 1024), while maintaining a relatively low computational overhead. This design choice ensures the model's ability to capture critical semantic and detailed information across various visual tasks. We posit that a proficient Vision-Language Model should, foremost, possess strong language abilities. To ensure the preservation of LLM capabilities during pretraining, we investigate an effective VL pretraining strategy by integrating LLM training from the beginning and carefully managing the competitive dynamics observed between vision and language modalities. The DeepSeek-VL family (both 1.3B and 7B models) showcases superior user experiences as a vision-language chatbot in real-world applications, achieving state-of-the-art or competitive performance across a wide range of visual-language benchmarks at the same model size while maintaining robust performance on language-centric benchmarks. We have made both 1.3B and 7B models publicly accessible to foster innovations based on this foundation model.