BLIP3-KALE: Leyendas densas a gran escala aumentadas con conocimiento

BLIP3-KALE: Knowledge Augmented Large-Scale Dense Captions

November 12, 2024

Autores: Anas Awadalla, Le Xue, Manli Shu, An Yan, Jun Wang, Senthil Purushwalkam, Sheng Shen, Hannah Lee, Oscar Lo, Jae Sung Park, Etash Guha, Silvio Savarese, Ludwig Schmidt, Yejin Choi, Caiming Xiong, Ran Xu

cs.AI

Resumen

Presentamos BLIP3-KALE, un conjunto de datos de 218 millones de pares de imágenes y textos que cubre la brecha entre descripciones sintéticas de leyendas y textos alternativos factuales a escala web. KALE amplía las descripciones sintéticas densas de imágenes con textos alternativos a escala web para generar leyendas de imágenes fundamentadas en hechos. Nuestro enfoque de dos etapas aprovecha modelos grandes de visión-lenguaje y modelos de lenguaje para crear leyendas enriquecidas con conocimiento, las cuales luego se utilizan para entrenar un VLM especializado para escalar el conjunto de datos. Entrenamos modelos de visión-lenguaje en KALE y demostramos mejoras en tareas de visión-lenguaje. Nuestros experimentos muestran la utilidad de KALE para entrenar modelos multimodales más capaces y conocedores. Publicamos el conjunto de datos KALE en https://huggingface.co/datasets/Salesforce/blip3-kale.

English

We introduce BLIP3-KALE, a dataset of 218 million image-text pairs that bridges the gap between descriptive synthetic captions and factual web-scale alt-text. KALE augments synthetic dense image captions with web-scale alt-text to generate factually grounded image captions. Our two-stage approach leverages large vision-language models and language models to create knowledge-augmented captions, which are then used to train a specialized VLM for scaling up the dataset. We train vision-language models on KALE and demonstrate improvements on vision-language tasks. Our experiments show the utility of KALE for training more capable and knowledgeable multimodal models. We release the KALE dataset at https://huggingface.co/datasets/Salesforce/blip3-kale