KORE: Verbesserung der Wissenseinbringung für große multimodale Modelle durch wissensorientierte Erweiterungen und Einschränkungen

KORE: Enhancing Knowledge Injection for Large Multimodal Models via Knowledge-Oriented Augmentations and Constraints

October 22, 2025

papers.authors: Kailin Jiang, Hongbo Jiang, Ning Jiang, Zhi Gao, Jinhe Bi, Yuchen Ren, Bin Li, Yuntao Du, Lei Liu, Qing Li

cs.AI

papers.abstract

Große multimodale Modelle kodieren umfangreiches Faktenwissen in ihren vortrainierten Gewichten. Allerdings bleibt dieses Wissen statisch und begrenzt, unfähig, mit den Entwicklungen in der realen Welt Schritt zu halten, was den kontinuierlichen Wissenserwerb behindert. Effektive Wissenseinspeisung wird somit entscheidend, wobei zwei Ziele verfolgt werden: Wissensanpassung (Einspeisen neuen Wissens) und Wissensbewahrung (Erhaltung alten Wissens). Bestehende Methoden haben oft Schwierigkeiten, neues Wissen zu erlernen, und leiden unter katastrophalem Vergessen. Um dies zu adressieren, schlagen wir KORE vor, eine synergetische Methode aus Wissens-orientierten Erweiterungen und Einschränkungen, um neues Wissen in große multimodale Modelle einzuspeisen und gleichzeitig altes Wissen zu bewahren. Im Gegensatz zur allgemeinen Text- oder Bilddatenvergrößerung wandelt KORE automatisch einzelne Wissenselemente in strukturiertes und umfassendes Wissen um, um sicherzustellen, dass das Modell neues Wissen präzise erlernt und eine genaue Anpassung ermöglicht. Gleichzeitig speichert KORE vorheriges Wissen in der Kovarianzmatrix der linearen Schichtaktivierungen des LMM und initialisiert den Adapter, indem die ursprünglichen Gewichte in den Nullraum der Matrix projiziert werden, wodurch eine Feinabstimmungsrichtung definiert wird, die die Interferenz mit vorherigem Wissen minimiert und eine starke Bewahrung ermöglicht. Umfangreiche Experimente mit verschiedenen LMMs, einschließlich LLaVA-v1.5-7B, LLaVA-v1.5-13B und Qwen2.5-VL-7B, zeigen, dass KORE eine überlegene Leistung bei der Einspeisung neuen Wissens erzielt und katastrophales Vergessen effektiv mildert.

English

Large Multimodal Models encode extensive factual knowledge in their pre-trained weights. However, its knowledge remains static and limited, unable to keep pace with real-world developments, which hinders continuous knowledge acquisition. Effective knowledge injection thus becomes critical, involving two goals: knowledge adaptation (injecting new knowledge) and knowledge retention (preserving old knowledge). Existing methods often struggle to learn new knowledge and suffer from catastrophic forgetting. To address this, we propose KORE, a synergistic method of KnOwledge-oRientEd augmentations and constraints for injecting new knowledge into large multimodal models while preserving old knowledge. Unlike general text or image data augmentation, KORE automatically converts individual knowledge items into structured and comprehensive knowledge to ensure that the model accurately learns new knowledge, enabling accurate adaptation. Meanwhile, KORE stores previous knowledge in the covariance matrix of LMM's linear layer activations and initializes the adapter by projecting the original weights into the matrix's null space, defining a fine-tuning direction that minimizes interference with previous knowledge, enabling powerful retention. Extensive experiments on various LMMs, including LLaVA-v1.5-7B, LLaVA-v1.5-13B, and Qwen2.5-VL-7B, show that KORE achieves superior new knowledge injection performance and effectively mitigates catastrophic forgetting.