Quimera: Melhorando o Modelo Generalista com Especialistas Específicos de Domínio

Chimera: Improving Generalist Model with Domain-Specific Experts

December 8, 2024

Autores: Tianshuo Peng, Mingsheng Li, Hongbin Zhou, Renqiu Xia, Renrui Zhang, Lei Bai, Song Mao, Bin Wang, Conghui He, Aojun Zhou, Botian Shi, Tao Chen, Bo Zhang, Xiangyu Yue

cs.AI

Resumo

Os avanços recentes em Modelos Multimodais de Grande Escala (LMMs) destacam a importância da escalabilidade ao aumentar os dados em pares de imagem e texto, alcançando um desempenho impressionante em tarefas gerais. Apesar de sua eficácia em aplicações amplas, os modelos generalistas são principalmente treinados em conjuntos de dados em escala web dominados por imagens naturais, resultando no sacrifício de capacidades especializadas para tarefas específicas de domínio que requerem um extenso conhecimento prévio do domínio. Além disso, a integração direta de modelos especializados adaptados para domínios específicos é desafiadora devido à diferença representacional e à otimização desequilibrada entre o modelo generalista e os especialistas. Para enfrentar esses desafios, apresentamos o Chimera, um pipeline multimodal escalável e de baixo custo projetado para potencializar a capacidade dos LMMs existentes com especialistas específicos do domínio. Especificamente, projetamos uma estratégia de treinamento progressivo para integrar características dos modelos especialistas na entrada de um LMM generalista. Para lidar com a otimização desequilibrada causada pelo codificador visual geral bem alinhado, introduzimos um mecanismo inovador de Máscara de Colaboração Generalista-Especialista (GSCM). Isso resulta em um modelo versátil que se destaca nos domínios de gráficos, tabelas, matemática e documentos, alcançando um desempenho de ponta em tarefas de raciocínio multimodal e extração de conteúdo visual, ambas desafiadoras para avaliar os LMMs existentes.

English

Recent advancements in Large Multi-modal Models (LMMs) underscore the importance of scaling by increasing image-text paired data, achieving impressive performance on general tasks. Despite their effectiveness in broad applications, generalist models are primarily trained on web-scale datasets dominated by natural images, resulting in the sacrifice of specialized capabilities for domain-specific tasks that require extensive domain prior knowledge. Moreover, directly integrating expert models tailored for specific domains is challenging due to the representational gap and imbalanced optimization between the generalist model and experts. To address these challenges, we introduce Chimera, a scalable and low-cost multi-modal pipeline designed to boost the ability of existing LMMs with domain-specific experts. Specifically, we design a progressive training strategy to integrate features from expert models into the input of a generalist LMM. To address the imbalanced optimization caused by the well-aligned general visual encoder, we introduce a novel Generalist-Specialist Collaboration Masking (GSCM) mechanism. This results in a versatile model that excels across the chart, table, math, and document domains, achieving state-of-the-art performance on multi-modal reasoning and visual content extraction tasks, both of which are challenging tasks for assessing existing LMMs.