Verso una Cognizione Sistematica Auto-Migliorante per le Prossime Generazioni di Modelli Linguistici Multimodali di Base

Towards Self-Improving Systematic Cognition for Next-Generation Foundation MLLMs

March 16, 2025

Autori: Xiaoying Zhang, Da Peng, Yipeng Zhang, Zonghao Guo, Chengyue Wu, Chi Chen, Wei Ke, Helen Meng, Maosong Sun

cs.AI

Abstract

Nonostante le loro impressionanti capacità, i Modelli Linguistici Multimodali di Grande Scala (MLLMs) affrontano sfide legate alla percezione fine e al ragionamento complesso. Gli approcci prevalenti di pre-training multimodale si concentrano sul miglioramento della percezione addestrando su didascalie di immagini di alta qualità, a causa del costo estremamente elevato di raccolta di dati di ragionamento a catena di pensiero (CoT) per migliorare il ragionamento. Sebbene l'utilizzo di MLLMs avanzati per la generazione di didascalie aumenti la scalabilità, gli output spesso mancano di completezza e accuratezza. In questo articolo, introduciamo la Cognizione Auto-Migliorante (SIcog), un framework di auto-apprendimento progettato per costruire MLLMs di fondazione di nuova generazione, potenziando le loro capacità cognitive sistematiche attraverso il pre-training multimodale con dati auto-generati. Nello specifico, proponiamo la Catena di Descrizione, un approccio che migliora la percezione sistematica di un MLLM consentendo una comprensione visiva passo-passo, garantendo maggiore completezza e accuratezza. Inoltre, adottiamo una tecnica strutturata di ragionamento CoT per permettere agli MLLMs di integrare un ragionamento multimodale approfondito. Per costruire un MLLM di fondazione di nuova generazione con cognizione auto-migliorata, SIcog prima equipaggia un MLLM con capacità di percezione e ragionamento sistematico utilizzando annotazioni esterne minime. I modelli potenziati generano poi didascalie dettagliate e dati di ragionamento CoT, che vengono ulteriormente curati attraverso l'auto-consistenza. Questi dati curati vengono infine utilizzati per il pre-training multimodale per sviluppare modelli di fondazione di nuova generazione. Esperimenti estesi su MLLMs a bassa e alta risoluzione su vari benchmark dimostrano che, con soli 213K campioni di pre-training auto-generati, SIcog produce MLLMs di fondazione di nuova generazione con cognizione significativamente migliorata, raggiungendo prestazioni leader nei benchmark rispetto agli approcci di pre-training prevalenti.

English

Despite their impressive capabilities, Multimodal Large Language Models (MLLMs) face challenges with fine-grained perception and complex reasoning. Prevalent multimodal pre-training approaches focus on enhancing perception by training on high-quality image captions due to the extremely high cost of collecting chain-of-thought (CoT) reasoning data for improving reasoning. While leveraging advanced MLLMs for caption generation enhances scalability, the outputs often lack comprehensiveness and accuracy. In this paper, we introduce Self-Improving cognition (SIcog), a self-learning framework designed to construct next-generation foundation MLLMs by enhancing their systematic cognitive capabilities through multimodal pre-training with self-generated data. Specifically, we propose Chain-of-Description, an approach that improves an MLLM's systematic perception by enabling step-by-step visual understanding, ensuring greater comprehensiveness and accuracy. Additionally, we adopt a structured CoT reasoning technique to enable MLLMs to integrate in-depth multimodal reasoning. To construct a next-generation foundation MLLM with self-improved cognition, SIcog first equips an MLLM with systematic perception and reasoning abilities using minimal external annotations. The enhanced models then generate detailed captions and CoT reasoning data, which are further curated through self-consistency. This curated data is ultimately used for multimodal pre-training to develop next-generation foundation models. Extensive experiments on both low- and high-resolution MLLMs across diverse benchmarks demonstrate that, with merely 213K self-generated pre-training samples, SIcog produces next-generation foundation MLLMs with significantly improved cognition, achieving benchmark-leading performance compared to prevalent pre-training approaches.