Chimère : Amélioration du modèle généraliste avec des experts spécifiques au domaine

Chimera: Improving Generalist Model with Domain-Specific Experts

December 8, 2024

Auteurs: Tianshuo Peng, Mingsheng Li, Hongbin Zhou, Renqiu Xia, Renrui Zhang, Lei Bai, Song Mao, Bin Wang, Conghui He, Aojun Zhou, Botian Shi, Tao Chen, Bo Zhang, Xiangyu Yue

cs.AI

Résumé

Les récents progrès dans les Grands Modèles Multi-modaux (GMM) soulignent l'importance de l'échelle en augmentant les données appariées image-texte, atteignant des performances impressionnantes sur des tâches générales. Malgré leur efficacité dans de larges applications, les modèles généralistes sont principalement entraînés sur des ensembles de données à l'échelle du web dominés par des images naturelles, ce qui se traduit par le sacrifice de capacités spécialisées pour des tâches spécifiques au domaine nécessitant une connaissance préalable approfondie du domaine. De plus, l'intégration directe de modèles experts adaptés à des domaines spécifiques est difficile en raison de l'écart de représentation et de l'optimisation déséquilibrée entre le modèle généraliste et les experts. Pour relever ces défis, nous présentons Chimera, un pipeline multi-modal évolutif et peu coûteux conçu pour renforcer les capacités des GMM existants avec des experts spécifiques au domaine. Plus précisément, nous concevons une stratégie d'entraînement progressive pour intégrer les caractéristiques des modèles experts dans l'entrée d'un GMM généraliste. Pour résoudre l'optimisation déséquilibrée causée par l'encodeur visuel général bien aligné, nous introduisons un mécanisme de Masquage de Collaboration Généraliste-Spécialiste (GSCM) novateur. Cela donne lieu à un modèle polyvalent qui excelle dans les domaines des graphiques, des tableaux, des mathématiques et des documents, atteignant des performances de pointe sur des tâches de raisonnement multi-modal et d'extraction de contenu visuel, toutes deux étant des tâches difficiles pour évaluer les GMM existants.

English

Recent advancements in Large Multi-modal Models (LMMs) underscore the importance of scaling by increasing image-text paired data, achieving impressive performance on general tasks. Despite their effectiveness in broad applications, generalist models are primarily trained on web-scale datasets dominated by natural images, resulting in the sacrifice of specialized capabilities for domain-specific tasks that require extensive domain prior knowledge. Moreover, directly integrating expert models tailored for specific domains is challenging due to the representational gap and imbalanced optimization between the generalist model and experts. To address these challenges, we introduce Chimera, a scalable and low-cost multi-modal pipeline designed to boost the ability of existing LMMs with domain-specific experts. Specifically, we design a progressive training strategy to integrate features from expert models into the input of a generalist LMM. To address the imbalanced optimization caused by the well-aligned general visual encoder, we introduce a novel Generalist-Specialist Collaboration Masking (GSCM) mechanism. This results in a versatile model that excels across the chart, table, math, and document domains, achieving state-of-the-art performance on multi-modal reasoning and visual content extraction tasks, both of which are challenging tasks for assessing existing LMMs.