Zur domänenspezifischen Feinabstimmung für multimodale große Sprachmodelle

On Domain-Specific Post-Training for Multimodal Large Language Models

November 29, 2024

Autoren: Daixuan Cheng, Shaohan Huang, Ziyu Zhu, Xintong Zhang, Wayne Xin Zhao, Zhongzhi Luan, Bo Dai, Zhenliang Zhang

cs.AI

Zusammenfassung

In den letzten Jahren hat die rasante Entwicklung von allgemeinen multimodalen großen Sprachmodellen (MLLMs) stattgefunden. Die Anpassung allgemeiner MLLMs an spezifische Bereiche wie wissenschaftliche Gebiete und industrielle Anwendungen ist jedoch weniger erforscht. Diese Arbeit untersucht systematisch die Domänenanpassung von MLLMs durch Nachtraining und konzentriert sich auf die Datensynthese, Trainingspipelines und Aufgabenauswertung. (1) Datensynthese: Unter Verwendung von Open-Source-Modellen entwickeln wir einen visuellen Anweisungssynthesizer, der effektiv vielfältige visuelle Anweisungsaufgaben aus domänenspezifischen Bildunterschriften generiert. Unsere synthetischen Aufgaben übertreffen diejenigen, die durch manuelle Regeln, GPT-4 und GPT-4V generiert wurden, bei der Verbesserung der domänenspezifischen Leistung von MLLMs. (2) Trainingspipeline: Während das zweistufige Training - zunächst auf Bildunterschriften, gefolgt von visuellen Anweisungsaufgaben - üblicherweise für die Entwicklung allgemeiner MLLMs verwendet wird, wenden wir eine einstufige Trainingspipeline an, um die Aufgabenvielfalt für das domänenspezifische Nachtraining zu verbessern. (3) Aufgabenauswertung: Wir führen Experimente in zwei Bereichen, Biomedizin und Lebensmittel, durch, indem wir MLLMs unterschiedlicher Quellen und Skalen (z. B. Qwen2-VL-2B, LLaVA-v1.6-8B, Llama-3.2-11B) nachtrainieren und dann die Leistung der MLLMs bei verschiedenen domänenspezifischen Aufgaben auswerten. Um weitere Forschung in der Domänenanpassung von MLLMs zu unterstützen, werden wir unsere Implementierungen als Open Source veröffentlichen.

English

Recent years have witnessed the rapid development of general multimodal large language models (MLLMs). However, adapting general MLLMs to specific domains, such as scientific fields and industrial applications, remains less explored. This paper systematically investigates domain adaptation of MLLMs through post-training, focusing on data synthesis, training pipelines, and task evaluation. (1) Data Synthesis: Using open-source models, we develop a visual instruction synthesizer that effectively generates diverse visual instruction tasks from domain-specific image-caption pairs. Our synthetic tasks surpass those generated by manual rules, GPT-4, and GPT-4V in enhancing the domain-specific performance of MLLMs. (2) Training Pipeline: While the two-stage training--initially on image-caption pairs followed by visual instruction tasks--is commonly adopted for developing general MLLMs, we apply a single-stage training pipeline to enhance task diversity for domain-specific post-training. (3) Task Evaluation: We conduct experiments in two domains, biomedicine and food, by post-training MLLMs of different sources and scales (e.g., Qwen2-VL-2B, LLaVA-v1.6-8B, Llama-3.2-11B), and then evaluating MLLM performance on various domain-specific tasks. To support further research in MLLM domain adaptation, we will open-source our implementations.