DeepSeek-VL: К Пониманию Видео-Языковых Данных в Реальном Мире

DeepSeek-VL: Towards Real-World Vision-Language Understanding

March 8, 2024

Авторы: Haoyu Lu, Wen Liu, Bo Zhang, Bingxuan Wang, Kai Dong, Bo Liu, Jingxiang Sun, Tongzheng Ren, Zhuoshu Li, Yaofeng Sun, Chengqi Deng, Hanwei Xu, Zhenda Xie, Chong Ruan

cs.AI

Аннотация

Мы представляем DeepSeek-VL, открытую модель Vision-Language (VL), разработанную для приложений понимания реального мира через зрение и язык. Наш подход структурирован вокруг трех ключевых измерений: Мы стремимся обеспечить разнообразие, масштабируемость и широкое покрытие реальных сценариев, включая веб-скриншоты, PDF-файлы, OCR, диаграммы и контент на основе знаний, нацеленное на комплексное представление практических контекстов. Кроме того, мы создаем таксономию сценариев использования на основе реальных пользовательских ситуаций и соответствующим образом формируем набор данных для настройки инструкций. Тонкая настройка с использованием этого набора данных существенно улучшает пользовательский опыт модели в практических приложениях. Учитывая эффективность и требования большинства реальных сценариев, DeepSeek-VL включает гибридный визионный кодер, который эффективно обрабатывает изображения высокого разрешения (1024 x 1024), сохраняя при этом относительно низкую вычислительную нагрузку. Этот выбор дизайна обеспечивает способность модели улавливать критическую семантику и детальную информацию по различным визуальным задачам. Мы полагаем, что компетентная модель Vision-Language должна, прежде всего, обладать сильными языковыми способностями. Для обеспечения сохранения возможностей LLM во время предварительного обучения, мы исследуем эффективную стратегию предварительного обучения VL, интегрируя обучение LLM с самого начала и тщательно управляя конкурентной динамикой между визионной и языковой модальностями. Семейство DeepSeek-VL (модели 1.3B и 7B) демонстрирует превосходный пользовательский опыт в качестве чат-бота на основе визуального языка в реальных приложениях, достигая передовой или конкурентоспособной производительности по широкому спектру визуально-языковых бенчмарков при том же размере модели, сохраняя при этом надежную производительность на языково-центричных бенчмарках. Мы сделали обе модели 1.3B и 7B общедоступными для поощрения инноваций на основе этой фундаментальной модели.

English

We present DeepSeek-VL, an open-source Vision-Language (VL) Model designed for real-world vision and language understanding applications. Our approach is structured around three key dimensions: We strive to ensure our data is diverse, scalable, and extensively covers real-world scenarios including web screenshots, PDFs, OCR, charts, and knowledge-based content, aiming for a comprehensive representation of practical contexts. Further, we create a use case taxonomy from real user scenarios and construct an instruction tuning dataset accordingly. The fine-tuning with this dataset substantially improves the model's user experience in practical applications. Considering efficiency and the demands of most real-world scenarios, DeepSeek-VL incorporates a hybrid vision encoder that efficiently processes high-resolution images (1024 x 1024), while maintaining a relatively low computational overhead. This design choice ensures the model's ability to capture critical semantic and detailed information across various visual tasks. We posit that a proficient Vision-Language Model should, foremost, possess strong language abilities. To ensure the preservation of LLM capabilities during pretraining, we investigate an effective VL pretraining strategy by integrating LLM training from the beginning and carefully managing the competitive dynamics observed between vision and language modalities. The DeepSeek-VL family (both 1.3B and 7B models) showcases superior user experiences as a vision-language chatbot in real-world applications, achieving state-of-the-art or competitive performance across a wide range of visual-language benchmarks at the same model size while maintaining robust performance on language-centric benchmarks. We have made both 1.3B and 7B models publicly accessible to foster innovations based on this foundation model.