Sur la post-formation spécifique au domaine pour les grands modèles de langage multimodaux

On Domain-Specific Post-Training for Multimodal Large Language Models

November 29, 2024

Auteurs: Daixuan Cheng, Shaohan Huang, Ziyu Zhu, Xintong Zhang, Wayne Xin Zhao, Zhongzhi Luan, Bo Dai, Zhenliang Zhang

cs.AI

Résumé

Les dernières années ont vu le développement rapide de modèles de langage multimodaux généraux de grande taille (MLLMs). Cependant, l'adaptation des MLLMs généraux à des domaines spécifiques, tels que les domaines scientifiques et les applications industrielles, reste moins explorée. Cet article examine systématiquement l'adaptation de domaine des MLLMs par post-entraînement, en se concentrant sur la synthèse de données, les pipelines d'entraînement et l'évaluation des tâches. (1) Synthèse de données : En utilisant des modèles open source, nous développons un synthétiseur d'instructions visuelles qui génère efficacement des tâches d'instructions visuelles diverses à partir de paires image-légende spécifiques au domaine. Nos tâches synthétiques surpassent celles générées par des règles manuelles, GPT-4 et GPT-4V pour améliorer les performances spécifiques au domaine des MLLMs. (2) Pipeline d'entraînement : Alors que l'entraînement en deux étapes - initialement sur des paires image-légende suivies de tâches d'instructions visuelles - est couramment adopté pour le développement de MLLMs généraux, nous appliquons un pipeline d'entraînement en une seule étape pour améliorer la diversité des tâches pour le post-entraînement spécifique au domaine. (3) Évaluation des tâches : Nous menons des expériences dans deux domaines, la biomédecine et l'alimentation, en post-entraînant des MLLMs de différentes sources et échelles (par exemple, Qwen2-VL-2B, LLaVA-v1.6-8B, Llama-3.2-11B), puis en évaluant les performances des MLLMs sur diverses tâches spécifiques au domaine. Pour soutenir de futures recherches en adaptation de domaine des MLLMs, nous rendrons nos implémentations open source.

English

Recent years have witnessed the rapid development of general multimodal large language models (MLLMs). However, adapting general MLLMs to specific domains, such as scientific fields and industrial applications, remains less explored. This paper systematically investigates domain adaptation of MLLMs through post-training, focusing on data synthesis, training pipelines, and task evaluation. (1) Data Synthesis: Using open-source models, we develop a visual instruction synthesizer that effectively generates diverse visual instruction tasks from domain-specific image-caption pairs. Our synthetic tasks surpass those generated by manual rules, GPT-4, and GPT-4V in enhancing the domain-specific performance of MLLMs. (2) Training Pipeline: While the two-stage training--initially on image-caption pairs followed by visual instruction tasks--is commonly adopted for developing general MLLMs, we apply a single-stage training pipeline to enhance task diversity for domain-specific post-training. (3) Task Evaluation: We conduct experiments in two domains, biomedicine and food, by post-training MLLMs of different sources and scales (e.g., Qwen2-VL-2B, LLaVA-v1.6-8B, Llama-3.2-11B), and then evaluating MLLM performance on various domain-specific tasks. To support further research in MLLM domain adaptation, we will open-source our implementations.