К самообучающейся систематической когниции для нового поколения фундаментальных мультимодальных языковых моделей

Towards Self-Improving Systematic Cognition for Next-Generation Foundation MLLMs

March 16, 2025

Авторы: Xiaoying Zhang, Da Peng, Yipeng Zhang, Zonghao Guo, Chengyue Wu, Chi Chen, Wei Ke, Helen Meng, Maosong Sun

cs.AI

Аннотация

Несмотря на впечатляющие возможности, мультимодальные большие языковые модели (MLLMs) сталкиваются с трудностями в области детального восприятия и сложного рассуждения. Распространенные подходы к мультимодальному предварительному обучению сосредоточены на улучшении восприятия за счет обучения на высококачественных описаниях изображений, что связано с чрезвычайно высокой стоимостью сбора данных для цепочек рассуждений (CoT), необходимых для улучшения способности к рассуждению. Хотя использование продвинутых MLLM для генерации описаний повышает масштабируемость, их результаты часто недостаточно полны и точны. В данной статье мы представляем Self-Improving cognition (SIcog) — самообучающуюся структуру, предназначенную для создания моделей следующего поколения путем улучшения их системных когнитивных способностей за счет мультимодального предварительного обучения на самостоятельно сгенерированных данных. В частности, мы предлагаем подход Chain-of-Description, который улучшает системное восприятие MLLM, обеспечивая пошаговое визуальное понимание и повышая полноту и точность. Кроме того, мы применяем структурированную технику CoT-рассуждений, чтобы MLLM могли интегрировать глубокое мультимодальное рассуждение. Для создания модели следующего поколения с улучшенным когнитивным потенциалом SIcog сначала оснащает MLLM системными способностями восприятия и рассуждения с использованием минимальных внешних аннотаций. Затем улучшенные модели генерируют детализированные описания и данные для CoT-рассуждений, которые дополнительно проверяются на самосогласованность. Эти отобранные данные в конечном итоге используются для мультимодального предварительного обучения, чтобы разработать модели следующего поколения. Многочисленные эксперименты с MLLM как низкого, так и высокого разрешения на различных тестовых наборах демонстрируют, что при использовании всего 213K самостоятельно сгенерированных образцов для предварительного обучения SIcog создает модели следующего поколения с существенно улучшенным когнитивным потенциалом, достигая лидирующих результатов на тестовых наборах по сравнению с распространенными подходами к предварительному обучению.

English

Despite their impressive capabilities, Multimodal Large Language Models (MLLMs) face challenges with fine-grained perception and complex reasoning. Prevalent multimodal pre-training approaches focus on enhancing perception by training on high-quality image captions due to the extremely high cost of collecting chain-of-thought (CoT) reasoning data for improving reasoning. While leveraging advanced MLLMs for caption generation enhances scalability, the outputs often lack comprehensiveness and accuracy. In this paper, we introduce Self-Improving cognition (SIcog), a self-learning framework designed to construct next-generation foundation MLLMs by enhancing their systematic cognitive capabilities through multimodal pre-training with self-generated data. Specifically, we propose Chain-of-Description, an approach that improves an MLLM's systematic perception by enabling step-by-step visual understanding, ensuring greater comprehensiveness and accuracy. Additionally, we adopt a structured CoT reasoning technique to enable MLLMs to integrate in-depth multimodal reasoning. To construct a next-generation foundation MLLM with self-improved cognition, SIcog first equips an MLLM with systematic perception and reasoning abilities using minimal external annotations. The enhanced models then generate detailed captions and CoT reasoning data, which are further curated through self-consistency. This curated data is ultimately used for multimodal pre-training to develop next-generation foundation models. Extensive experiments on both low- and high-resolution MLLMs across diverse benchmarks demonstrate that, with merely 213K self-generated pre-training samples, SIcog produces next-generation foundation MLLMs with significantly improved cognition, achieving benchmark-leading performance compared to prevalent pre-training approaches.