Modelo de Lenguaje Pequeño se Encuentra con Vocabulario Visual Reforzado

Resumen

Jugar con los Grandes Modelos de Lenguaje Visual (LVLMs, por sus siglas en inglés) en 2023 está de moda en la comunidad de IA. Sin embargo, el número relativamente grande de parámetros (más de 7B) de los LVLMs populares dificulta su entrenamiento y despliegue en GPUs de consumo, desalentando a muchos investigadores con recursos limitados. Imagina lo genial que sería experimentar todas las características de los LVLMs actuales en una vieja GTX1080ti (nuestra única tarjeta gráfica). En consecuencia, presentamos Vary-toy en este informe, una versión pequeña de Vary junto con Qwen-1.8B como el modelo base de lenguaje "grande". En Vary-toy, introducimos un vocabulario visual mejorado, permitiendo que el modelo no solo posea todas las características de Vary, sino que también adquiera mayor generalidad. Específicamente, reemplazamos las muestras negativas de imágenes naturales con datos de muestras positivas impulsados por la detección de objetos en el procedimiento de generación del vocabulario visual, utilizando más eficientemente la capacidad de la red de vocabulario y permitiéndole codificar de manera eficiente la información visual correspondiente a objetos naturales. En los experimentos, Vary-toy puede alcanzar un 65.6% de ANLS en DocVQA, un 59.1% de precisión en ChartQA, un 88.1% de precisión en RefCOCO y un 29% en MMVet. El código estará disponible públicamente en la página de inicio.

English

Playing Large Vision Language Models (LVLMs) in 2023 is trendy among the AI community. However, the relatively large number of parameters (more than 7B) of popular LVLMs makes it difficult to train and deploy on consumer GPUs, discouraging many researchers with limited resources. Imagine how cool it would be to experience all the features of current LVLMs on an old GTX1080ti (our only game card). Accordingly, we present Vary-toy in this report, a small-size Vary along with Qwen-1.8B as the base ``large'' language model. In Vary-toy, we introduce an improved vision vocabulary, allowing the model to not only possess all features of Vary but also gather more generality. Specifically, we replace negative samples of natural images with positive sample data driven by object detection in the procedure of generating vision vocabulary, more sufficiently utilizing the capacity of the vocabulary network and enabling it to efficiently encode visual information corresponding to natural objects. For experiments, Vary-toy can achieve 65.6% ANLS on DocVQA, 59.1% accuracy on ChartQA, 88.1% accuracy on RefCOCO, and 29% on MMVet. The code will be publicly available on the homepage.

Modelo de Lenguaje Pequeño se Encuentra con Vocabulario Visual Reforzado

Small Language Model Meets with Reinforced Vision Vocabulary

Resumen

Support