Florence-VL: 生成ビジョンエンコーダーと深度幅融合を用いたビジョン言語モデルの強化

Florence-VL: Enhancing Vision-Language Models with Generative Vision Encoder and Depth-Breadth Fusion

December 5, 2024

著者: Jiuhai Chen, Jianwei Yang, Haiping Wu, Dianqi Li, Jianfeng Gao, Tianyi Zhou, Bin Xiao

cs.AI

要旨

新しいマルチモーダル大規模言語モデル（MLLMs）であるFlorence-VLを提案します。このモデルは、生成ビジョン基盤モデルであるFlorence-2によって生成された豊かなビジュアル表現を持っています。広く使用されているコントラスト学習によってトレーニングされたCLIPスタイルのビジョントランスフォーマーとは異なり、Florence-2は異なるレベルや側面のビジュアル特徴を捉えることができ、さまざまな下流タスクに適応しやすくなっています。私たちは、Florence-2のビジュアル特徴をPhi 3.5やLLama 3などの事前学習済みLLMsに効果的に統合するための新しい特徴融合アーキテクチャと革新的なトレーニング手法を提案しています。特に、異なる深さから抽出されたビジュアル特徴と複数のプロンプトからのビジュアル特徴を融合するための「深さ幅融合（DBFusion）」を提案しています。私たちのモデルトレーニングは、全体モデルのエンドツーエンドの事前学習に続いて、射影層とLLMのファインチューニングを、高品質な画像キャプションや指示チューニングペアを含む様々なオープンソースデータセットの慎重に設計されたレシピで行います。Florence-VLのビジュアル特徴の定量的分析と可視化は、豊かな深さと幅が重要な役割を果たすビジョン言語アライメントにおいて、一般的なビジョンエンコーダーに対する優位性を示しています。Florence-VLは、一般的なVQA、知識密集型理解などをカバーするさまざまなマルチモーダルおよびビジョン中心のベンチマークにおいて、既存の最先端MLLMsに対して著しい改善を達成しています。将来の研究を支援するために、私たちのモデルと完全なトレーニングレシピはオープンソースで提供されています。 https://github.com/JiuhaiChen/Florence-VL

English

We present Florence-VL, a new family of multimodal large language models (MLLMs) with enriched visual representations produced by Florence-2, a generative vision foundation model. Unlike the widely used CLIP-style vision transformer trained by contrastive learning, Florence-2 can capture different levels and aspects of visual features, which are more versatile to be adapted to diverse downstream tasks. We propose a novel feature-fusion architecture and an innovative training recipe that effectively integrates Florence-2's visual features into pretrained LLMs, such as Phi 3.5 and LLama 3. In particular, we propose "depth-breath fusion (DBFusion)" to fuse the visual features extracted from different depths and under multiple prompts. Our model training is composed of end-to-end pretraining of the whole model followed by finetuning of the projection layer and the LLM, on a carefully designed recipe of diverse open-source datasets that include high-quality image captions and instruction-tuning pairs. Our quantitative analysis and visualization of Florence-VL's visual features show its advantages over popular vision encoders on vision-language alignment, where the enriched depth and breath play important roles. Florence-VL achieves significant improvements over existing state-of-the-art MLLMs across various multi-modal and vision-centric benchmarks covering general VQA, perception, hallucination, OCR, Chart, knowledge-intensive understanding, etc. To facilitate future research, our models and the complete training recipe are open-sourced. https://github.com/JiuhaiChen/Florence-VL