Quimera: Mejorando el Modelo Generalista con Expertos Específicos del Dominio

Chimera: Improving Generalist Model with Domain-Specific Experts

December 8, 2024

Autores: Tianshuo Peng, Mingsheng Li, Hongbin Zhou, Renqiu Xia, Renrui Zhang, Lei Bai, Song Mao, Bin Wang, Conghui He, Aojun Zhou, Botian Shi, Tao Chen, Bo Zhang, Xiangyu Yue

cs.AI

Resumen

Los avances recientes en Modelos Multimodales Grandes (LMMs, por sus siglas en inglés) subrayan la importancia de la escalabilidad al aumentar los datos emparejados de imágenes y texto, logrando un rendimiento impresionante en tareas generales. A pesar de su efectividad en aplicaciones amplias, los modelos generalistas se entrenan principalmente en conjuntos de datos a escala web dominados por imágenes naturales, lo que resulta en el sacrificio de capacidades especializadas para tareas específicas de dominio que requieren un extenso conocimiento previo del dominio. Además, la integración directa de modelos expertos adaptados para dominios específicos es un desafío debido a la brecha representacional y la optimización desequilibrada entre el modelo generalista y los expertos. Para abordar estos desafíos, presentamos Chimera, un conducto multimodal escalable y económico diseñado para potenciar la capacidad de los LMMs existentes con expertos específicos del dominio. Específicamente, diseñamos una estrategia de entrenamiento progresiva para integrar características de modelos expertos en la entrada de un LMM generalista. Para abordar la optimización desequilibrada causada por el codificador visual general bien alineado, introducimos un mecanismo de Máscara de Colaboración Generalista-Especialista (GSCM, por sus siglas en inglés) novedoso. Esto resulta en un modelo versátil que sobresale en los dominios de gráficos, tablas, matemáticas y documentos, logrando un rendimiento de vanguardia en tareas de razonamiento multimodal y extracción de contenido visual, ambas tareas desafiantes para evaluar los LMMs existentes.

English

Recent advancements in Large Multi-modal Models (LMMs) underscore the importance of scaling by increasing image-text paired data, achieving impressive performance on general tasks. Despite their effectiveness in broad applications, generalist models are primarily trained on web-scale datasets dominated by natural images, resulting in the sacrifice of specialized capabilities for domain-specific tasks that require extensive domain prior knowledge. Moreover, directly integrating expert models tailored for specific domains is challenging due to the representational gap and imbalanced optimization between the generalist model and experts. To address these challenges, we introduce Chimera, a scalable and low-cost multi-modal pipeline designed to boost the ability of existing LMMs with domain-specific experts. Specifically, we design a progressive training strategy to integrate features from expert models into the input of a generalist LMM. To address the imbalanced optimization caused by the well-aligned general visual encoder, we introduce a novel Generalist-Specialist Collaboration Masking (GSCM) mechanism. This results in a versatile model that excels across the chart, table, math, and document domains, achieving state-of-the-art performance on multi-modal reasoning and visual content extraction tasks, both of which are challenging tasks for assessing existing LMMs.