Naar zelfverbeterende systematische cognitie voor de volgende generatie fundamentele MLLM's

Towards Self-Improving Systematic Cognition for Next-Generation Foundation MLLMs

March 16, 2025

Auteurs: Xiaoying Zhang, Da Peng, Yipeng Zhang, Zonghao Guo, Chengyue Wu, Chi Chen, Wei Ke, Helen Meng, Maosong Sun

cs.AI

Samenvatting

Ondanks hun indrukwekkende capaciteiten, kampen Multimodale Grote Taalmodellen (MLLMs) met uitdagingen op het gebied van fijnmazige perceptie en complex redeneren. Gangbare multimodale voorafgaande trainingsbenaderingen richten zich op het verbeteren van perceptie door te trainen op hoogwaardige beeldbeschrijvingen, vanwege de extreem hoge kosten van het verzamelen van chain-of-thought (CoT) redeneergegevens om het redeneren te verbeteren. Hoewel het gebruik van geavanceerde MLLMs voor het genereren van beschrijvingen de schaalbaarheid vergroot, ontbreekt het de uitvoer vaak aan volledigheid en nauwkeurigheid. In dit artikel introduceren we Self-Improving cognition (SIcog), een zelflerend raamwerk ontworpen om de volgende generatie fundamentele MLLMs te construeren door hun systematische cognitieve capaciteiten te verbeteren via multimodale voorafgaande training met zelf gegenereerde gegevens. Specifiek stellen we Chain-of-Description voor, een benadering die de systematische perceptie van een MLLM verbetert door stapsgewijs visueel begrip mogelijk te maken, wat zorgt voor grotere volledigheid en nauwkeurigheid. Daarnaast nemen we een gestructureerde CoT-redeneertechniek over om MLLMs in staat te stellen diepgaand multimodaal redeneren te integreren. Om een volgende generatie fundamentele MLLM te construeren met zelfverbeterde cognitie, rust SIcog eerst een MLLM uit met systematische perceptie en redeneervaardigheden met behulp van minimale externe annotaties. De verbeterde modellen genereren vervolgens gedetailleerde beschrijvingen en CoT-redeneergegevens, die verder worden gecureerd door zelfconsistentie. Deze gecureerde gegevens worden uiteindelijk gebruikt voor multimodale voorafgaande training om de volgende generatie fundamentele modellen te ontwikkelen. Uitgebreide experimenten op zowel lage- als hoge-resolutie MLLMs over diverse benchmarks tonen aan dat, met slechts 213K zelf gegenereerde voorafgaande trainingsmonsters, SIcog volgende generatie fundamentele MLLMs produceert met aanzienlijk verbeterde cognitie, wat benchmarkleidende prestaties oplevert in vergelijking met gangbare voorafgaande trainingsbenaderingen.

English

Despite their impressive capabilities, Multimodal Large Language Models (MLLMs) face challenges with fine-grained perception and complex reasoning. Prevalent multimodal pre-training approaches focus on enhancing perception by training on high-quality image captions due to the extremely high cost of collecting chain-of-thought (CoT) reasoning data for improving reasoning. While leveraging advanced MLLMs for caption generation enhances scalability, the outputs often lack comprehensiveness and accuracy. In this paper, we introduce Self-Improving cognition (SIcog), a self-learning framework designed to construct next-generation foundation MLLMs by enhancing their systematic cognitive capabilities through multimodal pre-training with self-generated data. Specifically, we propose Chain-of-Description, an approach that improves an MLLM's systematic perception by enabling step-by-step visual understanding, ensuring greater comprehensiveness and accuracy. Additionally, we adopt a structured CoT reasoning technique to enable MLLMs to integrate in-depth multimodal reasoning. To construct a next-generation foundation MLLM with self-improved cognition, SIcog first equips an MLLM with systematic perception and reasoning abilities using minimal external annotations. The enhanced models then generate detailed captions and CoT reasoning data, which are further curated through self-consistency. This curated data is ultimately used for multimodal pre-training to develop next-generation foundation models. Extensive experiments on both low- and high-resolution MLLMs across diverse benchmarks demonstrate that, with merely 213K self-generated pre-training samples, SIcog produces next-generation foundation MLLMs with significantly improved cognition, achieving benchmark-leading performance compared to prevalent pre-training approaches.