DeepSeek-VL: 실세계 시각-언어 이해를 향하여

초록

우리는 실세계의 시각 및 언어 이해 애플리케이션을 위해 설계된 오픈소스 Vision-Language (VL) 모델인 DeepSeek-VL을 소개한다. 우리의 접근 방식은 세 가지 주요 차원을 중심으로 구성된다: 우리는 데이터가 다양하고 확장 가능하며 웹 스크린샷, PDF, OCR, 차트, 지식 기반 콘텐츠를 포함한 실세계 시나리오를 광범위하게 다루어 실용적인 맥락을 포괄적으로 표현할 수 있도록 노력한다. 더 나아가, 실제 사용자 시나리오에서 유즈 케이스 분류체계를 생성하고 이에 따라 인스트럭션 튜닝 데이터셋을 구축한다. 이 데이터셋을 활용한 미세 조정은 실용적인 애플리케이션에서 모델의 사용자 경험을 크게 향상시킨다. 효율성과 대부분의 실세계 시나리오의 요구를 고려하여, DeepSeek-VL은 고해상도 이미지(1024 x 1024)를 효율적으로 처리하면서도 비교적 낮은 계산 오버헤드를 유지하는 하이브리드 비전 인코더를 통합한다. 이러한 설계 선택은 다양한 시각적 작업에서 중요한 의미론적 정보와 세부 정보를 포착할 수 있는 모델의 능력을 보장한다. 우리는 능숙한 Vision-Language 모델은 무엇보다도 강력한 언어 능력을 가져야 한다고 주장한다. 프리트레이닝 과정에서 LLM 능력의 보존을 보장하기 위해, 초기부터 LLM 훈련을 통합하고 시각 및 언어 모달리티 간의 경쟁적 역학을 신중하게 관리하는 효과적인 VL 프리트레이닝 전략을 탐구한다. DeepSeek-VL 패밀리(1.3B 및 7B 모델)는 실세계 애플리케이션에서 시각-언어 챗봇으로서 우수한 사용자 경험을 보여주며, 동일한 모델 크기에서 다양한 시각-언어 벤치마크에서 최첨단 또는 경쟁력 있는 성능을 달성하면서도 언어 중심 벤치마크에서도 견고한 성능을 유지한다. 우리는 이 기반 모델을 바탕으로 한 혁신을 촉진하기 위해 1.3B 및 7B 모델을 모두 공개적으로 제공한다.

English

We present DeepSeek-VL, an open-source Vision-Language (VL) Model designed for real-world vision and language understanding applications. Our approach is structured around three key dimensions: We strive to ensure our data is diverse, scalable, and extensively covers real-world scenarios including web screenshots, PDFs, OCR, charts, and knowledge-based content, aiming for a comprehensive representation of practical contexts. Further, we create a use case taxonomy from real user scenarios and construct an instruction tuning dataset accordingly. The fine-tuning with this dataset substantially improves the model's user experience in practical applications. Considering efficiency and the demands of most real-world scenarios, DeepSeek-VL incorporates a hybrid vision encoder that efficiently processes high-resolution images (1024 x 1024), while maintaining a relatively low computational overhead. This design choice ensures the model's ability to capture critical semantic and detailed information across various visual tasks. We posit that a proficient Vision-Language Model should, foremost, possess strong language abilities. To ensure the preservation of LLM capabilities during pretraining, we investigate an effective VL pretraining strategy by integrating LLM training from the beginning and carefully managing the competitive dynamics observed between vision and language modalities. The DeepSeek-VL family (both 1.3B and 7B models) showcases superior user experiences as a vision-language chatbot in real-world applications, achieving state-of-the-art or competitive performance across a wide range of visual-language benchmarks at the same model size while maintaining robust performance on language-centric benchmarks. We have made both 1.3B and 7B models publicly accessible to foster innovations based on this foundation model.

DeepSeek-VL: 실세계 시각-언어 이해를 향하여

DeepSeek-VL: Towards Real-World Vision-Language Understanding

초록

Support