Sobre o Pós-Treinamento Específico de Domínio para Modelos de Linguagem Multimodais de Grande Escala

On Domain-Specific Post-Training for Multimodal Large Language Models

November 29, 2024

Autores: Daixuan Cheng, Shaohan Huang, Ziyu Zhu, Xintong Zhang, Wayne Xin Zhao, Zhongzhi Luan, Bo Dai, Zhenliang Zhang

cs.AI

Resumo

Os últimos anos testemunharam o rápido desenvolvimento de modelos de linguagem multimodais grandes gerais (MLLMs). No entanto, a adaptação de MLLMs gerais para domínios específicos, como campos científicos e aplicações industriais, ainda é menos explorada. Este artigo investiga sistematicamente a adaptação de domínio de MLLMs por meio de pós-treinamento, focando na síntese de dados, nos pipelines de treinamento e na avaliação de tarefas. (1) Síntese de Dados: Utilizando modelos de código aberto, desenvolvemos um sintetizador de instruções visuais que gera efetivamente diversas tarefas de instruções visuais a partir de pares de imagem-legenda específicos do domínio. Nossas tarefas sintéticas superam aquelas geradas por regras manuais, GPT-4 e GPT-4V na melhoria do desempenho específico do domínio de MLLMs. (2) Pipeline de Treinamento: Enquanto o treinamento em duas etapas - inicialmente em pares de imagem-legenda seguido por tarefas de instruções visuais - é comumente adotado para desenvolver MLLMs gerais, aplicamos um pipeline de treinamento em uma única etapa para aumentar a diversidade de tarefas para o pós-treinamento específico do domínio. (3) Avaliação de Tarefas: Realizamos experimentos em dois domínios, biomedicina e alimentos, pós-treinando MLLMs de diferentes fontes e escalas (por exemplo, Qwen2-VL-2B, LLaVA-v1.6-8B, Llama-3.2-11B), e então avaliando o desempenho do MLLM em várias tarefas específicas do domínio. Para apoiar pesquisas adicionais na adaptação de domínio de MLLM, disponibilizaremos nossas implementações em código aberto.

English

Recent years have witnessed the rapid development of general multimodal large language models (MLLMs). However, adapting general MLLMs to specific domains, such as scientific fields and industrial applications, remains less explored. This paper systematically investigates domain adaptation of MLLMs through post-training, focusing on data synthesis, training pipelines, and task evaluation. (1) Data Synthesis: Using open-source models, we develop a visual instruction synthesizer that effectively generates diverse visual instruction tasks from domain-specific image-caption pairs. Our synthetic tasks surpass those generated by manual rules, GPT-4, and GPT-4V in enhancing the domain-specific performance of MLLMs. (2) Training Pipeline: While the two-stage training--initially on image-caption pairs followed by visual instruction tasks--is commonly adopted for developing general MLLMs, we apply a single-stage training pipeline to enhance task diversity for domain-specific post-training. (3) Task Evaluation: We conduct experiments in two domains, biomedicine and food, by post-training MLLMs of different sources and scales (e.g., Qwen2-VL-2B, LLaVA-v1.6-8B, Llama-3.2-11B), and then evaluating MLLM performance on various domain-specific tasks. To support further research in MLLM domain adaptation, we will open-source our implementations.