MiA-Signature : approximation de l'activation globale pour la compréhension de contextes longs
MiA-Signature: Approximating Global Activation for Long-Context Understanding
May 7, 2026
Auteurs: Yuqing Li, Jiangnan Li, Mo Yu, Zheng Lin, Weiping Wang, Jie Zhou
cs.AI
Résumé
Un nombre croissant de travaux en sciences cognitives suggèrent que l'accès conscient rapportable est associé à une ignition globale au sein des systèmes de mémoire distribués, tandis que cette activation n'est que partiellement accessible car les individus ne peuvent accéder directement ou énumérer tous les contenus activés. Cette tension suggère un mécanisme plausible selon lequel la cognition pourrait s'appuyer sur une représentation compacte qui approxime l'influence globale de l'activation sur le traitement en aval. Inspirés par cette idée, nous introduisons le concept de Signature d'Activation du Paysage Mental (MiA-Signature), une représentation compressée du schéma d'activation globale induit par une requête. Dans les systèmes de LLM, celle-ci est instanciée via une sélection basée sur la sous-modularité de concepts de haut niveau qui couvrent l'espace contextuel activé, optionnellement affinée par des mises à jour itératives légères utilisant la mémoire de travail. La MiA-Signature qui en résulte sert de signal de conditionnement qui approxime l'effet de l'état d'activation complet tout en restant computationnellement traitable. L'intégration des MiA-Signatures dans les systèmes de RAG et les systèmes agentiels entraîne des gains de performance constants sur de multiples tâches de compréhension en contexte long.
English
A growing body of work in cognitive science suggests that reportable conscious access is associated with global ignition over distributed memory systems, while such activation is only partially accessible as individuals cannot directly access or enumerate all activated contents. This tension suggests a plausible mechanism that cognition may rely on a compact representation that approximates the global influence of activation on downstream processing. Inspired by this idea, we introduce the concept of Mindscape Activation Signature (MiA-Signature), a compressed representation of the global activation pattern induced by a query. In LLM systems, this is instantiated via submodular-based selection of high-level concepts that cover the activated context space, optionally refined through lightweight iterative updates using working memory. The resulting MiA-Signature serves as a conditioning signal that approximates the effect of the full activation state while remaining computationally tractable. Integrating MiA-Signatures into both RAG and agentic systems yields consistent performance gains across multiple long-context understanding tasks.