О доменно-специфическом послетренировочном обучении для мультимодальных крупных языковых моделей.

Аннотация

В последние годы наблюдается быстрое развитие общих мультимодальных крупных языковых моделей (MLLMs). Однако адаптация общих MLLMs к конкретным областям, таким как научные области и промышленные приложения, остается менее исследованной. В данной статье систематически исследуется доменная адаптация MLLMs через послетренировку, с акцентом на синтезе данных, обучающих конвейерах и оценке задач. (1) Синтез данных: Используя модели с открытым исходным кодом, мы разрабатываем синтезатор визуальных инструкций, который эффективно генерирует разнообразные визуальные инструкционные задачи на основе пар изображение-подпись, специфичных для домена. Наши синтетические задачи превосходят те, которые генерируются вручную, GPT-4 и GPT-4V в улучшении доменной производительности MLLMs. (2) Обучающий конвейер: В то время как двухэтапное обучение - сначала на парах изображение-подпись, а затем на визуальных инструкционных задачах - обычно используется для разработки общих MLLMs, мы применяем одноэтапный обучающий конвейер для увеличения разнообразия задач для доменной послетренировки. (3) Оценка задач: Мы проводим эксперименты в двух областях, биомедицине и пищевой промышленности, послетренируя MLLMs разных источников и масштабов (например, Qwen2-VL-2B, LLaVA-v1.6-8B, Llama-3.2-11B), а затем оцениваем производительность MLLM на различных доменно-специфических задачах. Для поддержки дальнейших исследований в области адаптации домена MLLM мы опубликуем наши реализации с открытым исходным кодом.

English

Recent years have witnessed the rapid development of general multimodal large language models (MLLMs). However, adapting general MLLMs to specific domains, such as scientific fields and industrial applications, remains less explored. This paper systematically investigates domain adaptation of MLLMs through post-training, focusing on data synthesis, training pipelines, and task evaluation. (1) Data Synthesis: Using open-source models, we develop a visual instruction synthesizer that effectively generates diverse visual instruction tasks from domain-specific image-caption pairs. Our synthetic tasks surpass those generated by manual rules, GPT-4, and GPT-4V in enhancing the domain-specific performance of MLLMs. (2) Training Pipeline: While the two-stage training--initially on image-caption pairs followed by visual instruction tasks--is commonly adopted for developing general MLLMs, we apply a single-stage training pipeline to enhance task diversity for domain-specific post-training. (3) Task Evaluation: We conduct experiments in two domains, biomedicine and food, by post-training MLLMs of different sources and scales (e.g., Qwen2-VL-2B, LLaVA-v1.6-8B, Llama-3.2-11B), and then evaluating MLLM performance on various domain-specific tasks. To support further research in MLLM domain adaptation, we will open-source our implementations.

О доменно-специфическом послетренировочном обучении для мультимодальных крупных языковых моделей.

On Domain-Specific Post-Training for Multimodal Large Language Models

Аннотация

Support