Florence-VL: Mejorando los Modelos de Visión-Lenguaje con un Codificador de Visión Generativo y Fusión de Profundidad-Amplitud.

Florence-VL: Enhancing Vision-Language Models with Generative Vision Encoder and Depth-Breadth Fusion

December 5, 2024

Autores: Jiuhai Chen, Jianwei Yang, Haiping Wu, Dianqi Li, Jianfeng Gao, Tianyi Zhou, Bin Xiao

cs.AI

Resumen

Presentamos Florence-VL, una nueva familia de grandes modelos de lenguaje multimodales (MLLMs) con representaciones visuales enriquecidas producidas por Florence-2, un modelo generativo de visión fundamental. A diferencia del ampliamente utilizado transformador de visión de estilo CLIP entrenado mediante aprendizaje por contraste, Florence-2 puede capturar diferentes niveles y aspectos de características visuales, que son más versátiles para adaptarse a diversas tareas posteriores. Proponemos una arquitectura de fusión de características novedosa y una receta de entrenamiento innovadora que integra de manera efectiva las características visuales de Florence-2 en MLLMs preentrenados, como Phi 3.5 y LLama 3. En particular, proponemos "fusión de profundidad-amplitud (DBFusion)" para fusionar las características visuales extraídas de diferentes profundidades y bajo múltiples indicaciones. Nuestro entrenamiento de modelo se compone de preentrenamiento de extremo a extremo de todo el modelo seguido de ajuste fino de la capa de proyección y el MLLM, en una receta cuidadosamente diseñada de diversos conjuntos de datos de código abierto que incluyen subtítulos de imágenes de alta calidad y pares de ajuste de instrucciones. Nuestro análisis cuantitativo y visualización de las características visuales de Florence-VL muestran sus ventajas sobre los codificadores de visión populares en el alineamiento visión-lenguaje, donde la profundidad y amplitud enriquecidas juegan roles importantes. Florence-VL logra mejoras significativas sobre los actuales MLLMs de última generación en diversos puntos de referencia multimodales y centrados en la visión que abarcan VQA general, percepción, alucinación, OCR, gráficos, comprensión intensiva del conocimiento, etc. Para facilitar la investigación futura, nuestros modelos y la receta completa de entrenamiento están disponibles en código abierto. https://github.com/JiuhaiChen/Florence-VL

English

We present Florence-VL, a new family of multimodal large language models (MLLMs) with enriched visual representations produced by Florence-2, a generative vision foundation model. Unlike the widely used CLIP-style vision transformer trained by contrastive learning, Florence-2 can capture different levels and aspects of visual features, which are more versatile to be adapted to diverse downstream tasks. We propose a novel feature-fusion architecture and an innovative training recipe that effectively integrates Florence-2's visual features into pretrained LLMs, such as Phi 3.5 and LLama 3. In particular, we propose "depth-breath fusion (DBFusion)" to fuse the visual features extracted from different depths and under multiple prompts. Our model training is composed of end-to-end pretraining of the whole model followed by finetuning of the projection layer and the LLM, on a carefully designed recipe of diverse open-source datasets that include high-quality image captions and instruction-tuning pairs. Our quantitative analysis and visualization of Florence-VL's visual features show its advantages over popular vision encoders on vision-language alignment, where the enriched depth and breath play important roles. Florence-VL achieves significant improvements over existing state-of-the-art MLLMs across various multi-modal and vision-centric benchmarks covering general VQA, perception, hallucination, OCR, Chart, knowledge-intensive understanding, etc. To facilitate future research, our models and the complete training recipe are open-sourced. https://github.com/JiuhaiChen/Florence-VL