DeepSeek-VL: Verso una Comprensione Visione-Linguaggio nel Mondo Reale

DeepSeek-VL: Towards Real-World Vision-Language Understanding

March 8, 2024

Autori: Haoyu Lu, Wen Liu, Bo Zhang, Bingxuan Wang, Kai Dong, Bo Liu, Jingxiang Sun, Tongzheng Ren, Zhuoshu Li, Yaofeng Sun, Chengqi Deng, Hanwei Xu, Zhenda Xie, Chong Ruan

cs.AI

Abstract

Presentiamo DeepSeek-VL, un modello Vision-Language (VL) open-source progettato per applicazioni reali di comprensione visiva e linguistica. Il nostro approccio si struttura attorno a tre dimensioni chiave: Ci impegniamo a garantire che i nostri dati siano diversificati, scalabili e coprano ampiamente scenari reali, inclusi screenshot web, PDF, OCR, grafici e contenuti basati su conoscenza, mirando a una rappresentazione completa di contesti pratici. Inoltre, creiamo una tassonomia dei casi d'uso basata su scenari reali degli utenti e costruiamo un dataset di instruction tuning di conseguenza. Il fine-tuning con questo dataset migliora significativamente l'esperienza utente del modello nelle applicazioni pratiche. Considerando l'efficienza e le esigenze della maggior parte degli scenari reali, DeepSeek-VL incorpora un encoder visivo ibrido che elabora in modo efficiente immagini ad alta risoluzione (1024 x 1024), mantenendo un overhead computazionale relativamente basso. Questa scelta progettuale garantisce la capacità del modello di catturare informazioni semantiche critiche e dettagliate in vari compiti visivi. Sosteniamo che un modello Vision-Language competente debba, innanzitutto, possedere forti capacità linguistiche. Per garantire la preservazione delle capacità LLM durante il pretraining, investigiamo una strategia efficace di pretraining VL integrando l'addestramento LLM fin dall'inizio e gestendo attentamente le dinamiche competitive osservate tra le modalità visiva e linguistica. La famiglia DeepSeek-VL (sia i modelli da 1.3B che da 7B) dimostra esperienze utente superiori come chatbot vision-language in applicazioni reali, raggiungendo prestazioni all'avanguardia o competitive su un'ampia gamma di benchmark visivo-linguistici per la stessa dimensione del modello, mantenendo al contempo prestazioni robuste su benchmark centrati sul linguaggio. Abbiamo reso pubblicamente accessibili sia i modelli da 1.3B che da 7B per favorire innovazioni basate su questo modello di base.

English

We present DeepSeek-VL, an open-source Vision-Language (VL) Model designed for real-world vision and language understanding applications. Our approach is structured around three key dimensions: We strive to ensure our data is diverse, scalable, and extensively covers real-world scenarios including web screenshots, PDFs, OCR, charts, and knowledge-based content, aiming for a comprehensive representation of practical contexts. Further, we create a use case taxonomy from real user scenarios and construct an instruction tuning dataset accordingly. The fine-tuning with this dataset substantially improves the model's user experience in practical applications. Considering efficiency and the demands of most real-world scenarios, DeepSeek-VL incorporates a hybrid vision encoder that efficiently processes high-resolution images (1024 x 1024), while maintaining a relatively low computational overhead. This design choice ensures the model's ability to capture critical semantic and detailed information across various visual tasks. We posit that a proficient Vision-Language Model should, foremost, possess strong language abilities. To ensure the preservation of LLM capabilities during pretraining, we investigate an effective VL pretraining strategy by integrating LLM training from the beginning and carefully managing the competitive dynamics observed between vision and language modalities. The DeepSeek-VL family (both 1.3B and 7B models) showcases superior user experiences as a vision-language chatbot in real-world applications, achieving state-of-the-art or competitive performance across a wide range of visual-language benchmarks at the same model size while maintaining robust performance on language-centric benchmarks. We have made both 1.3B and 7B models publicly accessible to foster innovations based on this foundation model.