DeepSeek-VL: Op Weg naar Real-World Visueel-Taalbegrip

Samenvatting

We presenteren DeepSeek-VL, een open-source Vision-Language (VL) Model ontworpen voor real-world toepassingen op het gebied van visie en taalbegrip. Onze aanpak is gestructureerd rond drie belangrijke dimensies: Wij streven ernaar om onze data divers, schaalbaar en uitgebreid te laten zijn, waarbij real-world scenario's zoals webscreenshots, PDF's, OCR, grafieken en kennisgebaseerde content worden gedekt, met als doel een uitgebreide representatie van praktische contexten te bieden. Verder creëren we een use case-taxonomie op basis van echte gebruikersscenario's en bouwen we een instructieafstemmingsdataset dienovereenkomstig. Het finetunen met deze dataset verbetert de gebruikerservaring van het model aanzienlijk in praktische toepassingen. Met het oog op efficiëntie en de eisen van de meeste real-world scenario's, integreert DeepSeek-VL een hybride visie-encoder die efficiënt hoogresolutiebeelden (1024 x 1024) verwerkt, terwijl een relatief lage computationele overhead wordt behouden. Deze ontwerpkeuze zorgt ervoor dat het model kritische semantische en gedetailleerde informatie kan vastleggen bij diverse visuele taken. Wij stellen dat een vaardig Vision-Language Model in de eerste plaats sterke taalvaardigheden moet bezitten. Om het behoud van LLM-capaciteiten tijdens de pretraining te waarborgen, onderzoeken we een effectieve VL-pretrainingsstrategie door LLM-training vanaf het begin te integreren en de competitieve dynamiek tussen visie- en taalmodaliteiten zorgvuldig te beheren. De DeepSeek-VL-familie (zowel de 1.3B als de 7B modellen) toont superieure gebruikerservaringen als een vision-language chatbot in real-world toepassingen, waarbij state-of-the-art of competitieve prestaties worden behaald op een breed scala aan visuele-taalbenchmarks bij dezelfde modelgrootte, terwijl robuuste prestaties op taalgerichte benchmarks worden behouden. We hebben zowel de 1.3B als de 7B modellen publiekelijk toegankelijk gemaakt om innovaties op basis van dit foundation model te bevorderen.

English

We present DeepSeek-VL, an open-source Vision-Language (VL) Model designed for real-world vision and language understanding applications. Our approach is structured around three key dimensions: We strive to ensure our data is diverse, scalable, and extensively covers real-world scenarios including web screenshots, PDFs, OCR, charts, and knowledge-based content, aiming for a comprehensive representation of practical contexts. Further, we create a use case taxonomy from real user scenarios and construct an instruction tuning dataset accordingly. The fine-tuning with this dataset substantially improves the model's user experience in practical applications. Considering efficiency and the demands of most real-world scenarios, DeepSeek-VL incorporates a hybrid vision encoder that efficiently processes high-resolution images (1024 x 1024), while maintaining a relatively low computational overhead. This design choice ensures the model's ability to capture critical semantic and detailed information across various visual tasks. We posit that a proficient Vision-Language Model should, foremost, possess strong language abilities. To ensure the preservation of LLM capabilities during pretraining, we investigate an effective VL pretraining strategy by integrating LLM training from the beginning and carefully managing the competitive dynamics observed between vision and language modalities. The DeepSeek-VL family (both 1.3B and 7B models) showcases superior user experiences as a vision-language chatbot in real-world applications, achieving state-of-the-art or competitive performance across a wide range of visual-language benchmarks at the same model size while maintaining robust performance on language-centric benchmarks. We have made both 1.3B and 7B models publicly accessible to foster innovations based on this foundation model.

DeepSeek-VL: Op Weg naar Real-World Visueel-Taalbegrip

DeepSeek-VL: Towards Real-World Vision-Language Understanding

Samenvatting

Support