Florence-VL: Melhorando Modelos de Visão e Linguagem com um Codificador de Visão Generativo e Fusão de Profundidade-Amplitude

Florence-VL: Enhancing Vision-Language Models with Generative Vision Encoder and Depth-Breadth Fusion

December 5, 2024

Autores: Jiuhai Chen, Jianwei Yang, Haiping Wu, Dianqi Li, Jianfeng Gao, Tianyi Zhou, Bin Xiao

cs.AI

Resumo

Apresentamos Florence-VL, uma nova família de grandes modelos de linguagem multimodais (MLLMs) com representações visuais enriquecidas produzidas por Florence-2, um modelo de fundação de visão generativa. Ao contrário do amplamente utilizado modelo de visão estilo CLIP treinado por aprendizado contrastivo, Florence-2 pode capturar diferentes níveis e aspectos de características visuais, que são mais versáteis para serem adaptados a diversas tarefas downstream. Propomos uma arquitetura de fusão de características inovadora e uma receita de treinamento que integra de forma eficaz as características visuais de Florence-2 em MLLMs pré-treinados, como Phi 3.5 e LLama 3. Em particular, propomos "fusão de profundidade-amplitude (DBFusion)" para fundir as características visuais extraídas de diferentes profundidades e sob múltiplas sugestões. Nosso treinamento do modelo é composto por pré-treinamento de ponta a ponta do modelo inteiro seguido por ajuste fino da camada de projeção e do MLLM, em uma receita cuidadosamente projetada de diversos conjuntos de dados de código aberto que incluem legendas de imagens de alta qualidade e pares de ajuste de instruções. Nossa análise quantitativa e visualização das características visuais do Florence-VL mostram suas vantagens sobre codificadores de visão populares na alinhamento visão-linguagem, onde a profundidade e amplitude enriquecidas desempenham papéis importantes. Florence-VL alcança melhorias significativas em relação aos atuais MLLMs de ponta em vários benchmarks multimodais e centrados em visão que abrangem VQA geral, percepção, alucinação, OCR, gráficos, compreensão intensiva de conhecimento, etc. Para facilitar pesquisas futuras, nossos modelos e a receita de treinamento completa estão disponíveis em código aberto. https://github.com/JiuhaiChen/Florence-VL

English

We present Florence-VL, a new family of multimodal large language models (MLLMs) with enriched visual representations produced by Florence-2, a generative vision foundation model. Unlike the widely used CLIP-style vision transformer trained by contrastive learning, Florence-2 can capture different levels and aspects of visual features, which are more versatile to be adapted to diverse downstream tasks. We propose a novel feature-fusion architecture and an innovative training recipe that effectively integrates Florence-2's visual features into pretrained LLMs, such as Phi 3.5 and LLama 3. In particular, we propose "depth-breath fusion (DBFusion)" to fuse the visual features extracted from different depths and under multiple prompts. Our model training is composed of end-to-end pretraining of the whole model followed by finetuning of the projection layer and the LLM, on a carefully designed recipe of diverse open-source datasets that include high-quality image captions and instruction-tuning pairs. Our quantitative analysis and visualization of Florence-VL's visual features show its advantages over popular vision encoders on vision-language alignment, where the enriched depth and breath play important roles. Florence-VL achieves significant improvements over existing state-of-the-art MLLMs across various multi-modal and vision-centric benchmarks covering general VQA, perception, hallucination, OCR, Chart, knowledge-intensive understanding, etc. To facilitate future research, our models and the complete training recipe are open-sourced. https://github.com/JiuhaiChen/Florence-VL