BLIP3-KALE: Legendas Densas em Grande Escala Aumentadas por Conhecimento

BLIP3-KALE: Knowledge Augmented Large-Scale Dense Captions

November 12, 2024

Autores: Anas Awadalla, Le Xue, Manli Shu, An Yan, Jun Wang, Senthil Purushwalkam, Sheng Shen, Hannah Lee, Oscar Lo, Jae Sung Park, Etash Guha, Silvio Savarese, Ludwig Schmidt, Yejin Choi, Caiming Xiong, Ran Xu

cs.AI

Resumo

Apresentamos o BLIP3-KALE, um conjunto de dados com 218 milhões de pares de imagens e textos que preenche a lacuna entre legendas sintéticas descritivas e textos alternativos factuais em escala web. O KALE aumenta legendas sintéticas densas de imagens com textos alternativos em escala web para gerar legendas de imagens fundamentadas factualmente. Nosso método em duas etapas aproveita modelos grandes de visão-linguagem e modelos de linguagem para criar legendas enriquecidas de conhecimento, que são então utilizadas para treinar um VLM especializado para ampliar o conjunto de dados. Treinamos modelos de visão-linguagem no KALE e demonstramos melhorias em tarefas de visão-linguagem. Nossos experimentos mostram a utilidade do KALE para treinar modelos multimodais mais capazes e conhecedores. Lançamos o conjunto de dados KALE em https://huggingface.co/datasets/Salesforce/blip3-kale.

English

We introduce BLIP3-KALE, a dataset of 218 million image-text pairs that bridges the gap between descriptive synthetic captions and factual web-scale alt-text. KALE augments synthetic dense image captions with web-scale alt-text to generate factually grounded image captions. Our two-stage approach leverages large vision-language models and language models to create knowledge-augmented captions, which are then used to train a specialized VLM for scaling up the dataset. We train vision-language models on KALE and demonstrate improvements on vision-language tasks. Our experiments show the utility of KALE for training more capable and knowledgeable multimodal models. We release the KALE dataset at https://huggingface.co/datasets/Salesforce/blip3-kale