Zelfverbetering in Multimodale Grote Taalmodellen: Een Overzicht

Self-Improvement in Multimodal Large Language Models: A Survey

October 3, 2025

Auteurs: Shijian Deng, Kai Wang, Tianyu Yang, Harsh Singh, Yapeng Tian

cs.AI

Samenvatting

Recente ontwikkelingen op het gebied van zelfverbetering voor Large Language Models (LLMs) hebben de mogelijkheden van modellen efficiënt verbeterd zonder de kosten significant te verhogen, met name wat betreft menselijke inspanning. Hoewel dit gebied nog relatief jong is, biedt de uitbreiding naar het multimodale domein enorm veel potentieel voor het benutten van diverse databronnen en het ontwikkelen van meer algemene zelfverbeterende modellen. Dit overzicht is het eerste dat een uitgebreid beeld geeft van zelfverbetering in Multimodal LLMs (MLLMs). We bieden een gestructureerd overzicht van de huidige literatuur en bespreken methoden vanuit drie perspectieven: 1) gegevensverzameling, 2) gegevensorganisatie, en 3) modeloptimalisatie, om de verdere ontwikkeling van zelfverbetering in MLLMs te vergemakkelijken. We nemen ook veelgebruikte evaluaties en downstream-toepassingen op. Tot slot sluiten we af met het schetsen van open uitdagingen en toekomstige onderzoeksrichtingen.

English

Recent advancements in self-improvement for Large Language Models (LLMs) have efficiently enhanced model capabilities without significantly increasing costs, particularly in terms of human effort. While this area is still relatively young, its extension to the multimodal domain holds immense potential for leveraging diverse data sources and developing more general self-improving models. This survey is the first to provide a comprehensive overview of self-improvement in Multimodal LLMs (MLLMs). We provide a structured overview of the current literature and discuss methods from three perspectives: 1) data collection, 2) data organization, and 3) model optimization, to facilitate the further development of self-improvement in MLLMs. We also include commonly used evaluations and downstream applications. Finally, we conclude by outlining open challenges and future research directions.