Vers une cognition systématique auto-améliorante pour la prochaine génération de modèles de langage multimodal de base

Towards Self-Improving Systematic Cognition for Next-Generation Foundation MLLMs

March 16, 2025

Auteurs: Xiaoying Zhang, Da Peng, Yipeng Zhang, Zonghao Guo, Chengyue Wu, Chi Chen, Wei Ke, Helen Meng, Maosong Sun

cs.AI

Résumé

Malgré leurs capacités impressionnantes, les Modèles de Langage Multimodaux de Grande Taille (MLLMs) rencontrent des difficultés en matière de perception fine et de raisonnement complexe. Les approches prédominantes de pré-entraînement multimodal se concentrent sur l'amélioration de la perception en s'entraînant sur des descriptions d'images de haute qualité, en raison du coût extrêmement élevé associé à la collecte de données de raisonnement en chaîne de pensée (CoT) pour améliorer le raisonnement. Bien que l'utilisation de MLLMs avancés pour la génération de descriptions améliore l'évolutivité, les résultats manquent souvent de exhaustivité et de précision. Dans cet article, nous introduisons la cognition auto-améliorante (SIcog), un cadre d'apprentissage autonome conçu pour construire des MLLMs de fondation de nouvelle génération en améliorant leurs capacités cognitives systématiques grâce à un pré-entraînement multimodal avec des données auto-générées. Plus précisément, nous proposons la Chaîne de Description, une approche qui améliore la perception systématique d'un MLLM en permettant une compréhension visuelle étape par étape, garantissant une plus grande exhaustivité et précision. De plus, nous adoptons une technique de raisonnement CoT structurée pour permettre aux MLLMs d'intégrer un raisonnement multimodal approfondi. Pour construire un MLLM de fondation de nouvelle génération avec une cognition auto-améliorée, SIcog commence par doter un MLLM de capacités de perception et de raisonnement systématiques en utilisant un minimum d'annotations externes. Les modèles améliorés génèrent ensuite des descriptions détaillées et des données de raisonnement CoT, qui sont ensuite affinées par auto-cohérence. Ces données affinées sont finalement utilisées pour le pré-entraînement multimodal afin de développer des modèles de fondation de nouvelle génération. Des expériences approfondies sur des MLLMs à basse et haute résolution à travers divers benchmarks démontrent qu'avec seulement 213K échantillons de pré-entraînement auto-générés, SIcog produit des MLLMs de fondation de nouvelle génération avec une cognition significativement améliorée, atteignant des performances de pointe par rapport aux approches de pré-entraînement prédominantes.

English

Despite their impressive capabilities, Multimodal Large Language Models (MLLMs) face challenges with fine-grained perception and complex reasoning. Prevalent multimodal pre-training approaches focus on enhancing perception by training on high-quality image captions due to the extremely high cost of collecting chain-of-thought (CoT) reasoning data for improving reasoning. While leveraging advanced MLLMs for caption generation enhances scalability, the outputs often lack comprehensiveness and accuracy. In this paper, we introduce Self-Improving cognition (SIcog), a self-learning framework designed to construct next-generation foundation MLLMs by enhancing their systematic cognitive capabilities through multimodal pre-training with self-generated data. Specifically, we propose Chain-of-Description, an approach that improves an MLLM's systematic perception by enabling step-by-step visual understanding, ensuring greater comprehensiveness and accuracy. Additionally, we adopt a structured CoT reasoning technique to enable MLLMs to integrate in-depth multimodal reasoning. To construct a next-generation foundation MLLM with self-improved cognition, SIcog first equips an MLLM with systematic perception and reasoning abilities using minimal external annotations. The enhanced models then generate detailed captions and CoT reasoning data, which are further curated through self-consistency. This curated data is ultimately used for multimodal pre-training to develop next-generation foundation models. Extensive experiments on both low- and high-resolution MLLMs across diverse benchmarks demonstrate that, with merely 213K self-generated pre-training samples, SIcog produces next-generation foundation MLLMs with significantly improved cognition, achieving benchmark-leading performance compared to prevalent pre-training approaches.