GeoStack: Uma Estrutura para Composição de Conhecimento Quase-Abeliano em VLMs

Resumo

Abordamos o desafio da composição de conhecimento em Modelos de Linguagem e Visão (VLMs), nos quais o acúmulo de expertise em múltiplos domínios ou tarefas normalmente resulta em esquecimento catastrófico. Apresentamos o GeoStack (Geometric Stacking), uma estrutura modular que permite a composição de especialistas de domínio treinados independentemente em um modelo unificado. Ao impor restrições geométricas e estruturais na variedade do adaptador, o GeoStack garante a preservação do conhecimento fundamental do modelo base. Além disso, demonstramos matematicamente uma propriedade de "dobragem de pesos" que atinge uma complexidade de inferência em tempo constante (O(1)), independentemente do número de especialistas integrados. Resultados experimentais em adaptação multi-domínio e aprendizado incremental de classes mostram que o GeoStack fornece um mecanismo eficiente para composição de conhecimento de longo prazo, mitigando significativamente o esquecimento catastrófico. O código está disponível em https://github.com/QuantitativeImagingLaboratory/GeoStack.

English

We address the challenge of knowledge composition in Vision-Language Models (VLMs), where accumulating expertise across multiple domains or tasks typically leads to catastrophic forgetting. We introduce GeoStack (Geometric Stacking), a modular framework that allows independently trained domain experts to be composed into a unified model. By imposing geometric and structural constraints on the adapter manifold, GeoStack ensures the foundational knowledge of the base model is preserved. Furthermore, we mathematically demonstrate a weight-folding property that achieves constant-time inference complexity (O(1)), regardless of the number of integrated experts. Experimental results across multi-domain adaptation and class-incremental learning show that GeoStack provides an efficient mechanism for long-term knowledge composition while significantly mitigating catastrophic forgetting. Code is available at https://github.com/QuantitativeImagingLaboratory/GeoStack.