Hacia la Cognición Sistemática Automejorable para la Próxima Generación de Modelos Multilingües de Aprendizaje Profundo (MLLMs) Fundamentales

Towards Self-Improving Systematic Cognition for Next-Generation Foundation MLLMs

March 16, 2025

Autores: Xiaoying Zhang, Da Peng, Yipeng Zhang, Zonghao Guo, Chengyue Wu, Chi Chen, Wei Ke, Helen Meng, Maosong Sun

cs.AI

Resumen

A pesar de sus impresionantes capacidades, los Modelos de Lenguaje Multimodales de Gran Escala (MLLMs) enfrentan desafíos en la percepción de detalles finos y el razonamiento complejo. Los enfoques predominantes de preentrenamiento multimodal se centran en mejorar la percepción mediante el entrenamiento con descripciones de imágenes de alta calidad, debido al costo extremadamente alto de recopilar datos de razonamiento en cadena de pensamiento (CoT) para mejorar el razonamiento. Si bien el aprovechamiento de MLLMs avanzados para la generación de descripciones aumenta la escalabilidad, los resultados a menudo carecen de exhaustividad y precisión. En este artículo, presentamos Self-Improving cognition (SIcog), un marco de autoaprendizaje diseñado para construir MLLMs de próxima generación mejorando sus capacidades cognitivas sistemáticas mediante el preentrenamiento multimodal con datos autogenerados. Específicamente, proponemos Chain-of-Description, un enfoque que mejora la percepción sistemática de un MLLM al permitir una comprensión visual paso a paso, asegurando una mayor exhaustividad y precisión. Además, adoptamos una técnica estructurada de razonamiento CoT para permitir que los MLLMs integren un razonamiento multimodal profundo. Para construir un MLLM de próxima generación con cognición auto-mejorada, SIcog primero equipa a un MLLM con habilidades sistemáticas de percepción y razonamiento utilizando anotaciones externas mínimas. Los modelos mejorados luego generan descripciones detalladas y datos de razonamiento CoT, que se curan adicionalmente mediante auto-consistencia. Estos datos curados se utilizan finalmente para el preentrenamiento multimodal con el fin de desarrollar modelos de próxima generación. Experimentos extensos en MLLMs de baja y alta resolución en diversos benchmarks demuestran que, con apenas 213K muestras de preentrenamiento autogeneradas, SIcog produce MLLMs de próxima generación con una cognición significativamente mejorada, logrando un rendimiento líder en los benchmarks en comparación con los enfoques de preentrenamiento predominantes.

English

Despite their impressive capabilities, Multimodal Large Language Models (MLLMs) face challenges with fine-grained perception and complex reasoning. Prevalent multimodal pre-training approaches focus on enhancing perception by training on high-quality image captions due to the extremely high cost of collecting chain-of-thought (CoT) reasoning data for improving reasoning. While leveraging advanced MLLMs for caption generation enhances scalability, the outputs often lack comprehensiveness and accuracy. In this paper, we introduce Self-Improving cognition (SIcog), a self-learning framework designed to construct next-generation foundation MLLMs by enhancing their systematic cognitive capabilities through multimodal pre-training with self-generated data. Specifically, we propose Chain-of-Description, an approach that improves an MLLM's systematic perception by enabling step-by-step visual understanding, ensuring greater comprehensiveness and accuracy. Additionally, we adopt a structured CoT reasoning technique to enable MLLMs to integrate in-depth multimodal reasoning. To construct a next-generation foundation MLLM with self-improved cognition, SIcog first equips an MLLM with systematic perception and reasoning abilities using minimal external annotations. The enhanced models then generate detailed captions and CoT reasoning data, which are further curated through self-consistency. This curated data is ultimately used for multimodal pre-training to develop next-generation foundation models. Extensive experiments on both low- and high-resolution MLLMs across diverse benchmarks demonstrate that, with merely 213K self-generated pre-training samples, SIcog produces next-generation foundation MLLMs with significantly improved cognition, achieving benchmark-leading performance compared to prevalent pre-training approaches.