Rumo à Cognição Sistemática de Autoaperfeiçoamento para a Próxima Geração de MLLMs Fundamentais

Towards Self-Improving Systematic Cognition for Next-Generation Foundation MLLMs

March 16, 2025

Autores: Xiaoying Zhang, Da Peng, Yipeng Zhang, Zonghao Guo, Chengyue Wu, Chi Chen, Wei Ke, Helen Meng, Maosong Sun

cs.AI

Resumo

Apesar de suas capacidades impressionantes, os Modelos de Linguagem Multimodais de Grande Escala (MLLMs) enfrentam desafios com percepção refinada e raciocínio complexo. As abordagens predominantes de pré-treinamento multimodal focam em melhorar a percepção ao treinar com legendas de imagens de alta qualidade, devido ao custo extremamente alto de coletar dados de raciocínio em cadeia (Chain-of-Thought, CoT) para aprimorar o raciocínio. Embora o uso de MLLMs avançados para geração de legendas aumente a escalabilidade, as saídas frequentemente carecem de abrangência e precisão. Neste artigo, introduzimos a Cognição de Autoaprimoramento (Self-Improving cognition, SIcog), um framework de autoaprendizagem projetado para construir MLLMs de próxima geração, aprimorando suas capacidades cognitivas sistemáticas por meio de pré-treinamento multimodal com dados autogerados. Especificamente, propomos a Cadeia de Descrição (Chain-of-Description), uma abordagem que melhora a percepção sistemática de um MLLM ao permitir a compreensão visual passo a passo, garantindo maior abrangência e precisão. Além disso, adotamos uma técnica estruturada de raciocínio CoT para permitir que os MLLMs integrem raciocínio multimodal aprofundado. Para construir um MLLM de próxima geração com cognição autoaprimorada, o SIcog primeiro equipa um MLLM com habilidades sistemáticas de percepção e raciocínio usando anotações externas mínimas. Os modelos aprimorados então geram legendas detalhadas e dados de raciocínio CoT, que são posteriormente curados por meio de autoconsistência. Esses dados curados são, por fim, usados para pré-treinamento multimodal, desenvolvendo modelos de próxima geração. Experimentos extensivos com MLLMs de baixa e alta resolução em diversos benchmarks demonstram que, com apenas 213K amostras de pré-treinamento autogeradas, o SIcog produz MLLMs de próxima geração com cognição significativamente aprimorada, alcançando desempenho líder nos benchmarks em comparação com abordagens de pré-treinamento predominantes.

English

Despite their impressive capabilities, Multimodal Large Language Models (MLLMs) face challenges with fine-grained perception and complex reasoning. Prevalent multimodal pre-training approaches focus on enhancing perception by training on high-quality image captions due to the extremely high cost of collecting chain-of-thought (CoT) reasoning data for improving reasoning. While leveraging advanced MLLMs for caption generation enhances scalability, the outputs often lack comprehensiveness and accuracy. In this paper, we introduce Self-Improving cognition (SIcog), a self-learning framework designed to construct next-generation foundation MLLMs by enhancing their systematic cognitive capabilities through multimodal pre-training with self-generated data. Specifically, we propose Chain-of-Description, an approach that improves an MLLM's systematic perception by enabling step-by-step visual understanding, ensuring greater comprehensiveness and accuracy. Additionally, we adopt a structured CoT reasoning technique to enable MLLMs to integrate in-depth multimodal reasoning. To construct a next-generation foundation MLLM with self-improved cognition, SIcog first equips an MLLM with systematic perception and reasoning abilities using minimal external annotations. The enhanced models then generate detailed captions and CoT reasoning data, which are further curated through self-consistency. This curated data is ultimately used for multimodal pre-training to develop next-generation foundation models. Extensive experiments on both low- and high-resolution MLLMs across diverse benchmarks demonstrate that, with merely 213K self-generated pre-training samples, SIcog produces next-generation foundation MLLMs with significantly improved cognition, achieving benchmark-leading performance compared to prevalent pre-training approaches.