MiA-Signature: Аппроксимация глобальной активации для понимания длинных контекстов

MiA-Signature: Approximating Global Activation for Long-Context Understanding

May 7, 2026

Авторы: Yuqing Li, Jiangnan Li, Mo Yu, Zheng Lin, Weiping Wang, Jie Zhou

cs.AI

Аннотация

Растущее число исследований в когнитивной науке указывает на то, что доступное для отчёта сознательное восприятие связано с глобальным "воспламенением" в распределённых системах памяти, при этом такая активация лишь частично доступна, поскольку индивиды не могут напрямую получить доступ или перечислить все активированные содержания. Это противоречие указывает на правдоподобный механизм, согласно которому познание может опираться на компактное представление, аппроксимирующее глобальное влияние активации на последующую обработку. Вдохновлённые этой идеей, мы вводим концепцию Сигнатуры Активации Ментального Ландшафта (MiA-Signature) — сжатого представления глобальной паттерна активации, вызванного запросом. В системах больших языковых моделей это реализуется посредством субмодулярного отбора высокоуровневых концептов, покрывающих активированное контекстное пространство, с возможностью последующей лёгкой итеративной доработки с использованием рабочей памяти. Получаемая MiA-Signature служит conditioning-сигналом, который аппроксимирует эффект полного состояния активации, оставаясь при этом вычислительно осуществимым. Интеграция MiA-Signature в RAG-системы и системы агентов приводит к стабильному повышению производительности в различных задачах понимания длинного контекста.

English

A growing body of work in cognitive science suggests that reportable conscious access is associated with global ignition over distributed memory systems, while such activation is only partially accessible as individuals cannot directly access or enumerate all activated contents. This tension suggests a plausible mechanism that cognition may rely on a compact representation that approximates the global influence of activation on downstream processing. Inspired by this idea, we introduce the concept of Mindscape Activation Signature (MiA-Signature), a compressed representation of the global activation pattern induced by a query. In LLM systems, this is instantiated via submodular-based selection of high-level concepts that cover the activated context space, optionally refined through lightweight iterative updates using working memory. The resulting MiA-Signature serves as a conditioning signal that approximates the effect of the full activation state while remaining computationally tractable. Integrating MiA-Signatures into both RAG and agentic systems yields consistent performance gains across multiple long-context understanding tasks.