Over Domein-Specifieke Post-Training voor Multimodale Grote Taalmodellen

Samenvatting

De afgelopen jaren hebben een snelle ontwikkeling gezien van algemene multimodale grote taalmodellen (MLLM's). Het aanpassen van algemene MLLM's aan specifieke domeinen, zoals wetenschappelijke vakgebieden en industriële toepassingen, blijft echter minder onderzocht. Dit artikel onderzoekt systematisch domeinaanpassing van MLLM's via post-training, met de focus op gegevenssynthese, trainingspijplijnen en taakevaluatie. (1) Gegevenssynthese: Met behulp van open-source modellen ontwikkelen we een visuele instructiesynthesizer die effectief diverse visuele instructietaken genereert uit domeinspecifieke afbeelding-ondertitel paren. Onze synthetische taken overtreffen die gegenereerd door handmatige regels, GPT-4 en GPT-4V in het verbeteren van de domeinspecifieke prestaties van MLLM's. (2) Trainingspijplijn: Terwijl de tweefasen training - eerst op afbeelding-ondertitel paren gevolgd door visuele instructietaken - vaak wordt toegepast voor het ontwikkelen van algemene MLLM's, passen wij een enkele-fase trainingspijplijn toe om de taakdiversiteit te verbeteren voor domeinspecifieke post-training. (3) Taakevaluatie: We voeren experimenten uit in twee domeinen, biogeneeskunde en voeding, door MLLM's van verschillende bronnen en schalen (bijv. Qwen2-VL-2B, LLaVA-v1.6-8B, Llama-3.2-11B) na te trainen en vervolgens de prestaties van MLLM's te evalueren op verschillende domeinspecifieke taken. Om verder onderzoek naar MLLM domeinaanpassing te ondersteunen, zullen we onze implementaties open-source maken.

English

Recent years have witnessed the rapid development of general multimodal large language models (MLLMs). However, adapting general MLLMs to specific domains, such as scientific fields and industrial applications, remains less explored. This paper systematically investigates domain adaptation of MLLMs through post-training, focusing on data synthesis, training pipelines, and task evaluation. (1) Data Synthesis: Using open-source models, we develop a visual instruction synthesizer that effectively generates diverse visual instruction tasks from domain-specific image-caption pairs. Our synthetic tasks surpass those generated by manual rules, GPT-4, and GPT-4V in enhancing the domain-specific performance of MLLMs. (2) Training Pipeline: While the two-stage training--initially on image-caption pairs followed by visual instruction tasks--is commonly adopted for developing general MLLMs, we apply a single-stage training pipeline to enhance task diversity for domain-specific post-training. (3) Task Evaluation: We conduct experiments in two domains, biomedicine and food, by post-training MLLMs of different sources and scales (e.g., Qwen2-VL-2B, LLaVA-v1.6-8B, Llama-3.2-11B), and then evaluating MLLM performance on various domain-specific tasks. To support further research in MLLM domain adaptation, we will open-source our implementations.

Over Domein-Specifieke Post-Training voor Multimodale Grote Taalmodellen

On Domain-Specific Post-Training for Multimodal Large Language Models

Samenvatting

Support