Химера: Улучшение обобщающей модели с помощью экспертов по конкретным областям

Chimera: Improving Generalist Model with Domain-Specific Experts

December 8, 2024

Авторы: Tianshuo Peng, Mingsheng Li, Hongbin Zhou, Renqiu Xia, Renrui Zhang, Lei Bai, Song Mao, Bin Wang, Conghui He, Aojun Zhou, Botian Shi, Tao Chen, Bo Zhang, Xiangyu Yue

cs.AI

Аннотация

Недавние достижения в области крупных мультимодальных моделей (LMM) подчеркивают важность масштабирования путем увеличения данных, состоящих из изображений и текста, что позволяет достичь впечатляющих результатов на общих задачах. Несмотря на их эффективность в широком спектре приложений, общие модели в основном обучаются на веб-масштабных наборах данных, где преобладают естественные изображения, что приводит к утрате специализированных возможностей для задач, требующих обширных знаний в предметной области. Более того, прямое интегрирование экспертных моделей, разработанных для конкретных областей, представляет трудности из-за разрыва в представлении и дисбаланса в оптимизации между общей моделью и экспертами. Для решения этих проблем мы представляем Chimera - масштабируемую и недорогую мультимодальную платформу, разработанную для улучшения способностей существующих LMM с помощью экспертов в конкретных областях. Конкретно, мы разрабатываем стратегию поэтапного обучения для интеграции признаков из экспертных моделей во вход общей LMM. Для решения проблемы дисбаланса в оптимизации, вызванной хорошо согласованным общим визуальным кодировщиком, мы предлагаем новый механизм маскирования сотрудничества общего и специализированного моделей (GSCM). Это приводит к универсальной модели, которая превосходит в области диаграмм, таблиц, математики и документов, достигая передовых результатов в задачах мультимодального рассуждения и извлечения визуального контента, обе из которых являются сложными для оценки задачами для существующих LMM.

English

Recent advancements in Large Multi-modal Models (LMMs) underscore the importance of scaling by increasing image-text paired data, achieving impressive performance on general tasks. Despite their effectiveness in broad applications, generalist models are primarily trained on web-scale datasets dominated by natural images, resulting in the sacrifice of specialized capabilities for domain-specific tasks that require extensive domain prior knowledge. Moreover, directly integrating expert models tailored for specific domains is challenging due to the representational gap and imbalanced optimization between the generalist model and experts. To address these challenges, we introduce Chimera, a scalable and low-cost multi-modal pipeline designed to boost the ability of existing LMMs with domain-specific experts. Specifically, we design a progressive training strategy to integrate features from expert models into the input of a generalist LMM. To address the imbalanced optimization caused by the well-aligned general visual encoder, we introduce a novel Generalist-Specialist Collaboration Masking (GSCM) mechanism. This results in a versatile model that excels across the chart, table, math, and document domains, achieving state-of-the-art performance on multi-modal reasoning and visual content extraction tasks, both of which are challenging tasks for assessing existing LMMs.