Florence-VL: Улучшение моделей видео-языка с помощью генеративного видео-кодера и объединения глубины и ширины.

Florence-VL: Enhancing Vision-Language Models with Generative Vision Encoder and Depth-Breadth Fusion

December 5, 2024

Авторы: Jiuhai Chen, Jianwei Yang, Haiping Wu, Dianqi Li, Jianfeng Gao, Tianyi Zhou, Bin Xiao

cs.AI

Аннотация

Мы представляем Florence-VL, новое семейство мультимодальных крупных языковых моделей (MLLM) с обогащенными визуальными представлениями, созданными Florence-2, моделью генеративного визионного фундамента. В отличие от широко используемой модели CLIP-стиля визионного трансформера, обученной методом контрастного обучения, Florence-2 способен захватывать различные уровни и аспекты визуальных особенностей, которые более универсальны для адаптации к различным задачам. Мы предлагаем новую архитектуру объединения признаков и инновационный метод обучения, который эффективно интегрирует визуальные особенности Florence-2 в предварительно обученные LLM, такие как Phi 3.5 и LLama 3. В частности, мы предлагаем "объединение глубины и ширины (DBFusion)" для объединения визуальных особенностей, извлеченных из разных глубин и под различными подсказками. Наше обучение модели состоит из предварительного обучения всей модели end-to-end, за которым следует донастройка слоя проекции и LLM на тщательно разработанном наборе разнообразных наборов данных с открытым исходным кодом, включающих подписи к изображениям высокого качества и пары настройки инструкций. Наше количественное анализ и визуализация визуальных особенностей Florence-VL показывают ее преимущества по сравнению с популярными визионными кодировщиками в области выравнивания визуальных и языковых данных, где обогащенная глубина и ширина играют важную роль. Florence-VL достигает значительных улучшений по сравнению с существующими передовыми MLLM на различных мультимодальных и визионно-центричных бенчмарках, охватывающих общие VQA, восприятие, галлюцинации, OCR, графики, понимание, основанное на знаниях и т. д. Для облегчения будущих исследований наши модели и полный метод обучения доступны в открытом доступе. https://github.com/JiuhaiChen/Florence-VL

English

We present Florence-VL, a new family of multimodal large language models (MLLMs) with enriched visual representations produced by Florence-2, a generative vision foundation model. Unlike the widely used CLIP-style vision transformer trained by contrastive learning, Florence-2 can capture different levels and aspects of visual features, which are more versatile to be adapted to diverse downstream tasks. We propose a novel feature-fusion architecture and an innovative training recipe that effectively integrates Florence-2's visual features into pretrained LLMs, such as Phi 3.5 and LLama 3. In particular, we propose "depth-breath fusion (DBFusion)" to fuse the visual features extracted from different depths and under multiple prompts. Our model training is composed of end-to-end pretraining of the whole model followed by finetuning of the projection layer and the LLM, on a carefully designed recipe of diverse open-source datasets that include high-quality image captions and instruction-tuning pairs. Our quantitative analysis and visualization of Florence-VL's visual features show its advantages over popular vision encoders on vision-language alignment, where the enriched depth and breath play important roles. Florence-VL achieves significant improvements over existing state-of-the-art MLLMs across various multi-modal and vision-centric benchmarks covering general VQA, perception, hallucination, OCR, Chart, knowledge-intensive understanding, etc. To facilitate future research, our models and the complete training recipe are open-sourced. https://github.com/JiuhaiChen/Florence-VL