GeoStack: Un Marco para la Composición Cuasi-Abeliana de Conocimiento en VLMs

GeoStack: A Framework for Quasi-Abelian Knowledge Composition in VLMs

May 7, 2026

Autores: Pranav Mantini, Shishir K. Shah

cs.AI

Resumen

Abordamos el desafío de la composición de conocimiento en Modelos de Visión y Lenguaje (VLM), donde la acumulación de experiencia en múltiples dominios o tareas generalmente conduce al olvido catastrófico. Presentamos GeoStack (Apilamiento Geométrico), un marco modular que permite componer expertos de dominio entrenados independientemente en un modelo unificado. Al imponer restricciones geométricas y estructurales en la variedad de adaptadores, GeoStack garantiza que se preserve el conocimiento fundamental del modelo base. Además, demostramos matemáticamente una propiedad de plegado de pesos que logra una complejidad de inferencia en tiempo constante (O(1)), independientemente del número de expertos integrados. Los resultados experimentales en adaptación multi-dominio y aprendizaje incremental de clases muestran que GeoStack proporciona un mecanismo eficiente para la composición de conocimiento a largo plazo mientras mitiga significativamente el olvido catastrófico. El código está disponible en https://github.com/QuantitativeImagingLaboratory/GeoStack.

English

We address the challenge of knowledge composition in Vision-Language Models (VLMs), where accumulating expertise across multiple domains or tasks typically leads to catastrophic forgetting. We introduce GeoStack (Geometric Stacking), a modular framework that allows independently trained domain experts to be composed into a unified model. By imposing geometric and structural constraints on the adapter manifold, GeoStack ensures the foundational knowledge of the base model is preserved. Furthermore, we mathematically demonstrate a weight-folding property that achieves constant-time inference complexity (O(1)), regardless of the number of integrated experts. Experimental results across multi-domain adaptation and class-incremental learning show that GeoStack provides an efficient mechanism for long-term knowledge composition while significantly mitigating catastrophic forgetting. Code is available at https://github.com/QuantitativeImagingLaboratory/GeoStack.