GeoStack: Een Raamwerk voor Quasi-Abelse Kenniscompositie in VLMs
GeoStack: A Framework for Quasi-Abelian Knowledge Composition in VLMs
May 7, 2026
Auteurs: Pranav Mantini, Shishir K. Shah
cs.AI
Samenvatting
Wij behandelen de uitdaging van kennissamenstelling in Vision-Language Models (VLMs), waarbij de accumulatie van expertise over meerdere domeinen of taken doorgaans leidt tot catastrofale interferentie. Wij introduceren GeoStack (Geometric Stacking), een modulair raamwerk waarmee onafhankelijk getrainde domeinexperts kunnen worden samengesteld tot een verenigd model. Door het opleggen van geometrische en structurele beperkingen op de adapter-variëteit, waarborgt GeoStack dat de fundamentele kennis van het basismodel behouden blijft. Verder tonen wij wiskundig een gewichtsplooi-eigenschap aan die een constante-tijd inferentiecomplexiteit (O(1)) bereikt, onafhankelijk van het aantal geïntegreerde experts. Experimentele resultaten in multi-domein aanpassing en klasse-incrementeel leren tonen aan dat GeoStack een efficiënt mechanisme biedt voor langdurige kennissamenstelling, terwijl catastrofale interferentie significant wordt gereduceerd. Code is beschikbaar op https://github.com/QuantitativeImagingLaboratory/GeoStack.
English
We address the challenge of knowledge composition in Vision-Language Models (VLMs), where accumulating expertise across multiple domains or tasks typically leads to catastrophic forgetting. We introduce GeoStack (Geometric Stacking), a modular framework that allows independently trained domain experts to be composed into a unified model. By imposing geometric and structural constraints on the adapter manifold, GeoStack ensures the foundational knowledge of the base model is preserved. Furthermore, we mathematically demonstrate a weight-folding property that achieves constant-time inference complexity (O(1)), regardless of the number of integrated experts. Experimental results across multi-domain adaptation and class-incremental learning show that GeoStack provides an efficient mechanism for long-term knowledge composition while significantly mitigating catastrophic forgetting. Code is available at https://github.com/QuantitativeImagingLaboratory/GeoStack.