Selbstverbesserung in multimodalen großen Sprachmodellen: Ein Überblick
Self-Improvement in Multimodal Large Language Models: A Survey
October 3, 2025
papers.authors: Shijian Deng, Kai Wang, Tianyu Yang, Harsh Singh, Yapeng Tian
cs.AI
papers.abstract
Jüngste Fortschritte in der Selbstverbesserung von Large Language Models (LLMs) haben die Modellfähigkeiten effizient gesteigert, ohne die Kosten, insbesondere in Bezug auf den menschlichen Aufwand, signifikant zu erhöhen. Obwohl dieses Gebiet noch relativ jung ist, birgt seine Ausweitung auf den multimodalen Bereich immenses Potenzial, um diverse Datenquellen zu nutzen und allgemeinere selbstverbessernde Modelle zu entwickeln. Diese Übersichtsarbeit ist die erste, die einen umfassenden Überblick über die Selbstverbesserung in Multimodalen LLMs (MLLMs) bietet. Wir präsentieren eine strukturierte Übersicht der aktuellen Literatur und diskutieren Methoden aus drei Perspektiven: 1) Datensammlung, 2) Datenorganisation und 3) Modelloptimierung, um die weitere Entwicklung der Selbstverbesserung in MLLMs zu fördern. Wir schließen auch häufig verwendete Evaluierungen und nachgelagerte Anwendungen ein. Abschließend skizzieren wir offene Herausforderungen und zukünftige Forschungsrichtungen.
English
Recent advancements in self-improvement for Large Language Models (LLMs) have
efficiently enhanced model capabilities without significantly increasing costs,
particularly in terms of human effort. While this area is still relatively
young, its extension to the multimodal domain holds immense potential for
leveraging diverse data sources and developing more general self-improving
models. This survey is the first to provide a comprehensive overview of
self-improvement in Multimodal LLMs (MLLMs). We provide a structured overview
of the current literature and discuss methods from three perspectives: 1) data
collection, 2) data organization, and 3) model optimization, to facilitate the
further development of self-improvement in MLLMs. We also include commonly used
evaluations and downstream applications. Finally, we conclude by outlining open
challenges and future research directions.