POINTS1.5: Développement d'un modèle Vision-Language en vue d'applications dans le monde réel

POINTS1.5: Building a Vision-Language Model towards Real World Applications

December 11, 2024

Auteurs: Yuan Liu, Le Tian, Xiao Zhou, Xinyu Gao, Kavio Yu, Yang Yu, Jie Zhou

cs.AI

Résumé

Les modèles de vision-langage ont récemment réalisé des avancées significatives, démontrant des performances supérieures dans une gamme de tâches, telles que la reconnaissance optique de caractères et l'analyse de diagrammes complexes. S'appuyant sur cette tendance, nous introduisons un nouveau modèle de vision-langage, POINTS1.5, conçu pour exceller dans diverses applications du monde réel. POINTS1.5 est une amélioration de POINTS1.0 et intègre plusieurs innovations clés : i) Nous remplaçons l'encodeur de vision CLIP d'origine, qui avait une résolution d'image fixe, par un encodeur de vision de style NaViT qui prend en charge une résolution élevée dynamique native. Cela permet à POINTS1.5 de traiter des images de n'importe quelle résolution sans avoir besoin de les diviser en tuiles. ii) Nous ajoutons le support bilingue à POINTS1.5, améliorant significativement sa capacité en chinois. En raison de la rareté des ensembles de données chinois open-source pour les modèles de vision-langage, nous collectons de nombreuses images sur Internet et les annotons en utilisant une combinaison de méthodes manuelles et automatiques. iii) Nous proposons un ensemble de méthodes de filtrage rigoureuses pour les ensembles de données d'ajustement d'instructions visuelles. Nous évaluons de manière exhaustive toutes ces méthodes de filtrage et choisissons les plus efficaces pour obtenir l'ensemble final d'ajustement d'instructions visuelles. Grâce à ces innovations, POINTS1.5 surpasse nettement POINTS1.0 et démontre de solides performances dans une gamme d'applications du monde réel. Notamment, POINTS1.5-7B est entraîné sur moins de 4 milliards de tokens et se classe en première position sur le classement OpenCompass parmi les modèles ayant moins de 10 milliards de paramètres.

English

Vision-language models have made significant strides recently, demonstrating superior performance across a range of tasks, e.g. optical character recognition and complex diagram analysis. Building on this trend, we introduce a new vision-language model, POINTS1.5, designed to excel in various real-world applications. POINTS1.5 is an enhancement of POINTS1.0 and incorporates several key innovations: i) We replace the original CLIP vision encoder, which had a fixed image resolution, with a NaViT-style vision encoder that supports native dynamic high resolution. This allows POINTS1.5 to process images of any resolution without needing to split them into tiles. ii) We add bilingual support to POINTS1.5, significantly enhancing its capability in Chinese. Due to the scarcity of open-source Chinese datasets for vision-language models, we collect numerous images from the Internet and annotate them using a combination of manual and automatic methods. iii) We propose a set of rigorous filtering methods for visual instruction tuning datasets. We comprehensively evaluate all these filtering methods, and choose the most effective ones to obtain the final visual instruction tuning set. Thanks to these innovations, POINTS1.5 significantly outperforms POINTS1.0 and demonstrates strong performance across a range of real-world applications. Notably, POINTS1.5-7B is trained on fewer than 4 billion tokens and ranks first on the OpenCompass leaderboard among models with fewer than 10 billion parameters