DeepSeek-VL: Hacia la Comprensión del Lenguaje Visual en el Mundo Real

DeepSeek-VL: Towards Real-World Vision-Language Understanding

March 8, 2024

Autores: Haoyu Lu, Wen Liu, Bo Zhang, Bingxuan Wang, Kai Dong, Bo Liu, Jingxiang Sun, Tongzheng Ren, Zhuoshu Li, Yaofeng Sun, Chengqi Deng, Hanwei Xu, Zhenda Xie, Chong Ruan

cs.AI

Resumen

Presentamos DeepSeek-VL, un modelo de Visión-Lenguaje (VL) de código abierto diseñado para aplicaciones de comprensión visual y lingüística en el mundo real. Nuestro enfoque se estructura en torno a tres dimensiones clave: Nos esforzamos por garantizar que nuestros datos sean diversos, escalables y cubran extensamente escenarios del mundo real, incluyendo capturas de pantalla web, PDFs, OCR, gráficos y contenido basado en conocimiento, con el objetivo de lograr una representación integral de contextos prácticos. Además, creamos una taxonomía de casos de uso a partir de escenarios reales de usuarios y construimos un conjunto de datos de ajuste de instrucciones en consecuencia. El ajuste fino con este conjunto de datos mejora sustancialmente la experiencia del usuario en aplicaciones prácticas. Teniendo en cuenta la eficiencia y las demandas de la mayoría de los escenarios del mundo real, DeepSeek-VL incorpora un codificador visual híbrido que procesa eficientemente imágenes de alta resolución (1024 x 1024), manteniendo un costo computacional relativamente bajo. Esta elección de diseño asegura la capacidad del modelo para capturar información semántica crítica y detalles en diversas tareas visuales. Postulamos que un modelo de Visión-Lenguaje competente debe, ante todo, poseer fuertes habilidades lingüísticas. Para garantizar la preservación de las capacidades del LLM durante el preentrenamiento, investigamos una estrategia efectiva de preentrenamiento VL integrando el entrenamiento del LLM desde el principio y gestionando cuidadosamente la dinámica competitiva observada entre las modalidades de visión y lenguaje. La familia DeepSeek-VL (tanto los modelos de 1.3B como de 7B) demuestra experiencias de usuario superiores como un chatbot de visión-lenguaje en aplicaciones del mundo real, logrando un rendimiento de vanguardia o competitivo en una amplia gama de benchmarks visual-lingüísticos con el mismo tamaño de modelo, mientras mantiene un rendimiento robusto en benchmarks centrados en el lenguaje. Hemos hecho accesibles públicamente tanto los modelos de 1.3B como de 7B para fomentar innovaciones basadas en este modelo fundacional.

English

We present DeepSeek-VL, an open-source Vision-Language (VL) Model designed for real-world vision and language understanding applications. Our approach is structured around three key dimensions: We strive to ensure our data is diverse, scalable, and extensively covers real-world scenarios including web screenshots, PDFs, OCR, charts, and knowledge-based content, aiming for a comprehensive representation of practical contexts. Further, we create a use case taxonomy from real user scenarios and construct an instruction tuning dataset accordingly. The fine-tuning with this dataset substantially improves the model's user experience in practical applications. Considering efficiency and the demands of most real-world scenarios, DeepSeek-VL incorporates a hybrid vision encoder that efficiently processes high-resolution images (1024 x 1024), while maintaining a relatively low computational overhead. This design choice ensures the model's ability to capture critical semantic and detailed information across various visual tasks. We posit that a proficient Vision-Language Model should, foremost, possess strong language abilities. To ensure the preservation of LLM capabilities during pretraining, we investigate an effective VL pretraining strategy by integrating LLM training from the beginning and carefully managing the competitive dynamics observed between vision and language modalities. The DeepSeek-VL family (both 1.3B and 7B models) showcases superior user experiences as a vision-language chatbot in real-world applications, achieving state-of-the-art or competitive performance across a wide range of visual-language benchmarks at the same model size while maintaining robust performance on language-centric benchmarks. We have made both 1.3B and 7B models publicly accessible to foster innovations based on this foundation model.